云居寺为南朝古刹，原建在钟山。明代移旧额于江宁淳化青龙山并重建。历史上很多文人骚客写过和云居寺有关的诗句，诗人王褒在游过云居寺后写下绝句：“中峰云已合，绝顶日犹晴”。唐代白居易诗云：“乱山深处云居路，共踏山行独惜春”。

云居寺于1949年后曾用于关押战犯，1958年后被南京阀门厂（今南京华宁阀门有限公司）使用至今。现存有大殿、后殿共两进，为明清建筑风格。

大殿屋脊的两端各有鸱吻一只，其状如卷尾巨龙张口吞脊，背上还插有剑柄，屋脊有佛教六字真言：“啊、嘛、呢、叭、崦、哞”，有明显的藏传佛教风格。挑 檐墙上绘有若干龙凤相对的彩绘，拱形门的上方有一格扇大窗。大殿内部全是木质梁柱组成，为抬梁式结构，民间俗语叫“墙倒屋不塌”。

大殿进深为16米，宽度为16米，高度13米，计四间。大殿东面另外尚有二层木质小楼。最粗木柱直径50厘米，柱础直径80厘米；最细木柱直径36厘米，柱础直贯穿其中轴线上，路分别由方砖和青质条石组成。后殿地势略高，由条石砌筑的庙基，需爬八级台阶方可进入。楼上的格扇门窗和走廊显示当年这里可能是“藏经楼”。不过目前，寺内所有佛像均不复存在了。