古代的榕、杉湖统称阳塘，是唐宋时代的护城河。钟鼓楼就耸立在阳桥北端高大的唐宋故城正南门上，系双重飞檐、歇山式顶建筑。这里曾是桂林人喜闻乐道的地方。

    明洪武八年(1375)城池南拓至宁远桥(今名南门桥)，这故城的城楼就作为嘹望的谯楼。登楼，可眺瞰城厢四隅。永乐五年(1407)，曾主持修纂《永乐大典》的解缙来到桂林后，在此题书了“永镇三江”大匾，大增光辉。清初顺治十年(1653)，广西镇守将军线国安在谯楼上建起了钟鼓楼。

    钟鼓楼位居桂林城的中心。光绪十八年(1892)十一月二十七日，桂林夜雪达旦，平地积雪尺许，是夜，北邻的龙神庙街失火，钟鼓楼及阳桥两岸遭受奇灾。民国时看到的钟鼓楼已是光绪二十九年(1903)重修的，三开间，两进深，歇山顶青灰瓦面，楼内祀有北帝等诸神，但主要是用于“以司更鼓”。

    抗战以前钟表还不普及，钟鼓楼是官方夜间报时的地方。晚上10时“起更”，以后每两小时为一更，一夜共五更司五鼓，由更役鸣鼓报更。翌日清晨，五更已毕，再鸣钟一次，告知夜尽昼来。抗战时它又是鸣放空袭警报的地方了。

    钟鼓楼的门洞是桂林城南北一条大道通衢，民间叫“鼓楼底”。清代志书上也有了鼓楼上大街与鼓楼下大街的名称。上大街是骑楼大铺面，下大街与阳塘两端则是鳞次栉比的板壁吊楼房。

    鼓楼门洞比桂林所有的城门都深且大，冬暖夏凉，犹如泱泱叠彩山的风洞。穿过的人们多喜欢在此停留，或是用蒲扇垫着坐下，或是驻足观览各种文告，在这里可以了解到许许多多的新闻消息。门洞的石壁上往往贴满了报纸、告示、商业广告与寻人启事。最多的是“天皇皇地皇皇，我家有个夜哭郎，过路君子念一念，一觉睡到大天光”这样的小字条。旧时桂林老百姓常以此安抚夜哭的小孩。

    宋代大观四年(1110)徽宗赵佶曾诏告天下，对青赤黄白黑五龙皆封王爵。桂林钟鼓楼北邻有座庞大的龙神庙，清雍正五年(1727)，广西巡抚韩良辅钦奉当朝上谕，迎请了大小五个龙神像供奉在此。1999年，在龙神庙的东侧出土了一块“龙神大街”石碑。原来，此庙前的大街曾叫过龙神大街。

    鼓楼的西北城下，还有一座信奉天、地、水三官属道教的三官殿，其教义是：天官赐福，地官赦罪，水官解厄，最后的住持是于姓道长。昔日，凡男孩子满16周岁需出花园门，告别不懂事的少年之季，这天皆要由道长行典仪。2000年4月，该遗址中出土了这件“三官殿”石匾。

    鼓楼底有打更巷，住着打更人，后来叫白了，就叫打狗巷了。1933年，桂林市政开拓马路，始将钟鼓楼拆除了。