该院归龙家后，由龙应时传与其子龙廷槐和龙廷梓，后来廷槐、廷梓分家，庭院的中间部分归龙廷槐，而左右两侧为龙廷梓所得。其中龙廷梓将归他的左、右两部分庭院建成以居室为主的庭园，称为“龙太常花园”和“楚芗园”，人们俗称左、右花园，南侧的龙太常花园在园主衰落后，卖给了曾秋樵，其子曾栋在此经营蚕种生意，挂上“广大”的招牌，故又称广大园。


应时长子龙廷槐字澳堂，大良人氏，于清乾隆五十三年（公元1788年）考中进士，曾任翰林院编修，候补御史。嘉庆五年（1800年）辞官南归，筑园奉母。嘉庆十一年（公元1806年），其子龙元任请了江苏武进进士，书法家李兆洛书写了“清晖园”三字书余园的正门上方，以喻父母之恩如日光和煦照耀。其后，经廷槐之子龙元任，孙龙景灿，曾孙龙诸慧一门数代的继续精心营建，几经修改加工，至民国初年，全园格局始臻定型。抗日战争期间，龙氏家人避居海外，庭院日趋残破。

近几年来，顺德区委区政府对清晖园进行了大规模修缮，1959年，中共广东省委书记陶铸莅临视察，深为关注，批专款予以重点保护，同年县政府重修扩建清晖园，与左右的楚香园、广大园（均为龙应时后裔所建）合并，面积由3000多平方米扩大到近万平方米。90年代中期（1996年）起，顺德市委、市政府鉴于其历史、艺术和观赏价值，投入了大量的人力、物力、财力对清晖园进行再度兴工扩建，扩复旧制，以重现名园精髓，以接待海外广大游客，增加了凤来峰、读云轩、留芬阁、沐英涧、红蕖书屋等多处建筑景点，面积由70多平方米增至2.2万平方米。 

清晖园布局是大园包小园。现清晖园的三大块大体为：由原正门进入的东南角区，中部的旧园区，西北部近年兴建的新园区。区域间虽有分隔，但却以游廊、甬道以及别出心裁的各式小门相互勾连，融为一体。以旧园区为例，其西部以方池为中心；中部偏北的船厅等是该区的精华所在；南部的竹苑、小蓬瀛、笔生花馆等组成庭院，形成园中有园，即大园包小园的格局和韵味，委婉多姿，让人觉得游之不足


清晖园没有着力营造假山，其为山之道，即在于远借。这主要归于相地，得地利之便。因三面环山，只要稍筑台阁，即可登高借远处山麓。以凤台为例，远处为凤山，凤山山麓绵延而来，经凤台接引而入园，而园内林木森郁，与远处山麓之青黛一脉相承。如此清晖园与凤山看上去融为一体，园内实无山胜有山也。清晖园北端地势较低，傍池筑船厅，于船厅登高，东可远望太平、神步，西见梯云山也借景之妙法。山势远来，直引至园内池塘，则此池塘仿如远方山麓脚下的山塘，与山景浑然一体。 

清晖园内水木清华，幽深清空，景致清雅优美，龙家故宅与扩建新景融为一体，利用碧水、绿树、吉墙、漏窗、石山、小桥、曲廊等与亭台楼阁交互融合，造型构筑别具匠心，花卉果木葱笼满目，艺术精品俯仰即拾，集古代建筑、园林、雕刻、诗画、灰雕等艺术于一体，突显出中国古典园林庭院建筑中“雄、奇、险、幽、秀、旷”的特点。布局形成前疏后密，前低后高的独特布局，但疏而不空，密而不塞，建筑造型轻巧灵活，开敞通透。其园林空间组合是通过各种小空间来衬托突出庭院中的水庭大空间，造园的重点围绕着水亭作文章。

清晖园是岭南园林的杰出代表。园内水木清华，妙联佳句、艺术精品比比皆是，俯仰可得。绝非一个美字了得。清晖园的清雅，除了体现在名字上，更多的是见于那一色的青砖灰瓦、绿树白花。 当然，清晖园的风雅 ，更透过一群名士才子的轻吟浅唱，拨弄着无数游人的心弦。

清晖园的文物有李兆洛、李文田、何绍基等大家的书法，像“白菡萏开露重，红蜻蜓去带香飞”，“风静带兰气，日长娱竹阴”的对联文字之隽永，更让人一唱三叹，徘徊不已 [5]  。风流倜傥的探花郎李文田，在京为官时就已与龙家交往密切，后来，并将其掌上明珠许配给了龙廷槐的曾孙龙渚惠，清晖园几乎成为他的另一个家，花前柳畔，幽径回廊，无不充溢其笔趣诗情，今日所见归寄庐的匾额，便是其笔墨余香。而其它的佳作及探花郎遗存在园中的几千册藏书和大量珍贵的拓本，皆于战乱中毁失殆尽，令人扼腕。

大诗人郭沫若1965年南下赏游，游至清晖园，为岭南风物所迷醉，诗兴勃发，立即笔走龙蛇：“弹指经过廿五年 ，人来重到凤凰园 。蔷薇馥郁红逾火，芒果茏葱碧入天。千顷鱼塘千顷蔗，万家桑土万家弦。缘何篁竹犹垂泪?为喜乾坤已转旋”。诗作一出 ，很快便赢得四方赞誉。“千顷鱼塘千顷蔗 ，万家桑土万家弦 ”一联因为生动传神地描述了水乡风光特色，一时为人们争相传诵。