据清《湘潭县志》载：它“朝阳映翠，岚气金光，绚呈异彩，故名”。民间传说：古代有一男一女，男名金哥，善医术；女名霞姑，识草药。两人相互配合，长期在此地治病救人。为纪念这对男女生前的功德，乡人便以金哥的金字，霞姑的霞字，命为山名。　　

金霞山上延岳秀，中扼湘流，下瞰潭城，层峦叠嶂，挺拔威仪。峰巅奇石如笔，直插天空，名文笔峰。有迂曲的山道，通峰接顶。山上，过去建有霞栖庵、龙兴庵。霞栖庵，又名霞栖寺，建年待考。明祟祯方郎中、监司佥事郭金台题诗《霞栖庵片石》曰：“众山蟠孤岑，渰悬复群木。参天通一门，中隐区灵屋。人烟隔数峰，片石独渊矗。苔藓篆古意，幽映憩修竹。开士契我心，振音扣容谷。茗香泛远圃，静与山花逐。门径罗新规，疏观又遥目。此中还龙像，挂席敷广陆。谁持烁迦逻，应见邱邱复。”清监贡郭宪章也题诗《霞栖寺》曰：“幽然一刹踞崚嶒，古木参差护佛灯。帘卷晴云时入榻，门闲野雀近窥僧。”       

金霞山关公坡建有龙兴寺，是县佛教协会所在地。开始叫龙兴庵，原址在金霞山之东，建年待考。相传最初是石头禅师结茅为庵。竣工当晚，石头禅师梦见有五龙绕庵，认为是兴旺、吉祥之兆，故以龙兴命名，后来龙兴庵有兴有衰，至1949年解放前夕，仅剩“一担柴式”建筑。

新建的龙兴寺楼两层，朱墙黄瓦，梁上雕龙画凤，建筑堪称古朴、典雅。楼的门匾横书“龙兴寺”三字，对联为湘潭诗人周家乾撰写：“霞光万道龙兴寺；碧浪千重易俗河。”楼内上、下两层都是法堂，法堂内供奉木雕如来佛、观世音及十八罗汉、二十四位诸天等镀金神像。如来佛与观世音像高丈余，形神俱佳，雕塑精湛。楼前有一水塘，能将整座寺宇倒影于塘水之中。每夜灯火辉煌，站在塘头举目远望，十分壮观。水塘，现在成为放生池。池中央，立千佛塔，塔高6米许，塔座3米许，铁铸。塔上，有铁铸大小神像上千座。1996年建荼毗园，设存放骨灰的普同塔160个，已投入使用。按龙兴寺的总体规划，有山门和前、中、后三殿。前殿名天王殿，两侧为钟鼓楼。中殿名大雄宝殿。中、后殿两侧为左右厢房，设禅堂、罗汉堂、功德堂、文物楼等。