在湖光岩内有一个千年古刹楞严寺。古寺初建于隋朝。北宋靖康元年（1126年）僧人释琮在此建白云禅庵（清代更名为楞严寺）。3年以后（建炎3年，公元1129年），释琮的好友李纲遭贬，在流放途中来到楞严寺，二人促膝长谈，面对湖光月色，李纲欣然命笔，写下了“湖光崖”三字，后定稿为“湖光岩”。可见，湖光岩的名称从李纲题字始。此后800多年，一直沿用至今。
    【注】诗中“三韩有硕儒”指清朝硕儒，曾任遂溪知县的三韩（朝鲜）人的黄恩贵。