逍遥楼始建于唐代武德四年（621年），当时桂州大总管李靖以“独秀峰”为中心，构筑桂州城，时称“子城”，逍遥楼就建该城之城墙上。成唐宋以来，逍遥楼历来是文人雅士登楼赏景、题诗作画、宴饮留别的最佳场所，亦留下众多脍炙人口的佳作。后世历代，逍遥楼屡毁屡建，宋崇宁元年（1102年），逍遥楼重建后，曾因桂林地处“湘水”之南，一度改名为“湘南楼”，后因该名称缺失历史人文驰怀，仍恢复“逍遥楼”之称。抗战时期，逍遥楼又一次毁于战火，并拆城墙之石用于修筑大桥。

逍遥楼遗址尚保存有颜真卿所书“逍遥楼”石刻碑。历史上颜真卿并未到访桂林，此碑是根据蒲州（山西永济）碑石钩摹重刻而成，历史上该石碑曾遭到破坏，现存石碑为1972年根据旧拓本修复而成。

逍遥楼内陈列展示有其历代建筑模型。其中，宋代逍遥楼依据镌刻于南宋《静江府修筑城池图》上的形象进行复原，根据宋代《营造法式》殿阁制度按1:40比例制作。元代逍遥楼依据元代楼宇建筑风格按1:60比例（清乾隆查礼记载遗址尺寸）进行复原，彼时，建筑规模宏大，文人登临吟诗作赋颇多。明代逍遥楼依据现存“端礼门”城台遗址和明代官式建筑形制按1:40比例进行复原。清末逍遥楼重建于清代咸丰五年（1855），英国布里斯托夫大学收藏有清末桂林漓江西岸“水东门”至“行春门”的照片，该模型依据照片中的逍遥楼影像资料按1:18比例进行复原。

现存逍遥楼地处原址一侧的解放桥西北角，是于2014年仿唐代建筑风格按原尺寸比例重建，为一座二层三檐式阁楼，坐落在1.5米的台基上，总高度23.6米。登逍遥楼，可近观漓江蜿蜒，远眺山峰起伏，桂林老八景中的“訾洲烟雨”、“东渡春澜”、“尧山冬雪”等，一览无余，尽收眼底。