幕府山东面，沿江有石灰岩山岭，明洪武年间在山旁建有观音阁，故名观音山。至明英宗时，因阁建寺，名弘济寺，后和永济寺，为南京一大古刹因年代久远，寺已破旧不堪，但观音阁仍临江耸立，势若俯坠。山中有"岩山12台洞"奇观，较著名的溶洞是头台、二台、三台洞。幕府登高为金陵48景之一。

自古以来，幕府山燕子矶附近不但是大江南北的交通渡口，也是古金陵防御江北的战略屏障和军事要道。因此在幕府山留下了许多名人足迹、历史景观和民间传说。

传说战国时期的楚威王为了压制南京的"王气"，派人埋金于幕府山西麓金陵冈，从而使南京有了"金陵"的美名；秦始皇统一中国后，巡视全国就是从这里南下的；公元317年西晋琅琊王司马睿在此渡江到建康（南京）登基而建东晋,丞相王导建幕府于此，因此得名；山北临长江，形势险要，东晋、南朝时为建康门户。在梁武帝时，有达摩一苇渡江的故事；南朝梁末，北齐军渡江南进，陈霸先率军出此山拒战，大破北齐军；在宋金战争时，八卦洲就是黄天荡，当年宋朝军队在这里大败了金兀术；明朝开国皇帝朱元璋建都于南京，自然他也多次来这里巡察、游玩；明成祖时期的郑和七下西洋，选定在幕府山侧的张阵湖中实验他的海船；英雄郑成功也曾经在公元1659年挟兵从福建一路杀到南京、屯兵幕府山而欲光复金陵；清王朝的康熙、乾隆两位皇帝下江南，多次到幕燕游历。其中乾隆六下江南五到此地，并留下的许多诗字。1842年鸦片战争中，侵华英军用炮舰在这里抢滩登陆，逼迫清政府签定丧权辱国的《南京条约》。到了1937年，幕府山燕子矶一带又成了日本侵略军对南京人民进行屠杀的地狱，有数万军民惨遭杀害。

近半个世纪无节制地炸山采矿，不但幕府山历史上风景名胜损失大半，而且造成原有的许多动物大量减少。现今幕府山的动物非常少，除了常见到天空鹰鹞盘旋外，只偶尔见过黄色山蛙与野鼬，昆虫种类也不多。今天的幕府山被挖得千疮百孔，其原因就是幕府山拥有大量的矿产资源和石材，最主要的就是发现了大量的白云石（镁矿）。