明洪武十三年（1380年）永嘉侯朱亮祖扩建广州城时，把北城墙扩展到越秀山上，并在越秀山顶修筑了一座木结构的五层楼以壮观瞻，这座楼就是高21米的镇海楼，五层大门悬挂“镇海楼”匾额（明嘉靖二十四年-1545年提督蔡经与侍郎张岳重建镇海楼时由张岳题写），两旁的对联是：“千万劫，危楼尚存，问谁摘斗摩霄，目空今古；五百年，故侯安在，使我倚栏看剑，泪洒英雄”。镇海楼坐北朝南、历经磨难，曾五毁五建，明代三次被火烧毁，清代二次被战火摧毁，民国十七年（1928年）改建成混凝土结构，民国十八年（1929年）用作广州市立博物馆。解放后重修并改为广州博物馆，在一层大门悬挂“广州博物馆”匾额。广州博物馆包括镇海楼和仲元楼两个馆区。

镇海楼外有一对铁狮子把守，有一块明代“镇海楼记”石碑基座，有明清两代的12门火炮和碑廊，碑廊中有历代石碑、石刻，如明万历二十二年（1594年）的“贪泉”石碑和孙中山遗嘱石刻。