越秀山古城墙始建于明代，它和镇海楼以及五仙观中的岭南第一楼被誉为“广州明初三大古迹”，是广州仅存的一段古城墙。这段古城墙分西、中、东三部分：从大北门到镇海楼为西段，环镇海楼所在的小盘龙岗山头为中段，从广州美术馆到小北门为东段，共1000余米。城墙上的雉堞敌楼等早已荡然无存，保存较完好的是镇海楼附近一段，长达200米。古城墙是广州北门的制高点，历来为兵家必争。

明洪武十三年（1380年），永嘉侯朱亮祖把宋代广州东、西、中三城合为一，并向北扩展，跨越到越秀山，史称旧城。据明黄佐《广东通志》载，当时广州城“周长三千七百九十六丈、高二丈八尺”。有城门、城楼、敌楼、警铺等。“崇祯十三年（1640年）增筑北城，将城墙培高七尺，增厚墙基，并且每隔二十丈置有台阶，以便在城墙上落”。越秀山明代城墙现存总长度为1137米，除镇海楼外，只剩下高度不等的残垣，其他有关建筑已荡然无存。1987年，镇海楼后面连同东、西两侧的城墙已修缮复原，共长180米，雉堞严整，恢复旧观。

在古城墙碑文附近，有三棵大榕树长在墙头，上百根有细有粗的树根，弯弯曲曲，错综复杂，如一张大网将城墙面紧紧包裹住，有些已经伸到墙内，有些又长出很多小根，成为城墙上一道奇景。