千年以来，温州纪念谢灵运除地名、祠堂外，还有池、亭、楼、台。一千年的时间太漫长，春草池塘、南亭、北亭、谢公篆岩现都无迹可寻，而谢公楼至今尚在，只是曾易地，却因弘治温州府志的记载疏误，人们寻之不得。

    宋时，温州谢公楼在北门上，即城门楼。是文人雅士饮酒做诗聚会处，北宋进士温州人刘安上(1069—1128)，曾与众友人在谢公楼饮酒做诗，有《登谢公楼分韵得心字》：高峙危楼压翠岑，登临遥想昔贤心…。

    南宋名臣瑞安人陈傅良(1137-1203年)也曾和郡守等人在谢公楼饮酒做诗，有《和沈守持要题谢公楼额》：危楼何在水云中，穿市牙旗退自公。闲作此来横笛夜，爱看人醉落帆风。

    南宋端平年间(1235年)，瑞安府(今温州)新任长官史弥忞重修谢公楼，取名江山胜概楼。据嘉定元年(1208)进士戴栩的《江山胜概楼记》记载，人们很早便把北城门楼呼为谢公楼，“因取北亭叙别之诗，借楼以表之”。但“俗以双门目之，而罕以谢称也。独郡有大宴会，守与宾为别席更衣之地。”新太守“按图牒登楼而玩之。病其庳陋不敞，且颓栋落楹，础没而瓦漂。将请于朝，节郡费以新之。可谓得设险之政矣。”

     元初，统治者下令各地捣毁城墙，温州的谢公楼和谯楼都未能幸免，随城墙、子城城墙一同消亡。

     2004年温州北门遗址考古及2014年温州谯楼子城城墙遗址考古发现，温州城墙、子城城墙毁于至元十三年(1276年)。据专家考证，城墙、谯楼重修年代，应在元末方国珍及其堂侄方明善盘踞温州期间(1357～1367年)，城墙修筑的较简陋。以方国珍鱼盐负贩海盗身世，且处于惶惶迎战屯兵造船的特殊时期，不会附风雅建谢公楼于城门上。

     明初，倭犯温州，洪武十七年(1384年)城墙又增筑加高。此年间国库亏空，温州地区又大旱饥荒、飓风暴雨灾难连绵。清人修的明史记载：吴兴民沈万三，家甚富，为帝(朱元璋)造都城三之一，又为帝犒军。帝曰：匹夫犒天子军，乱民也，宜诛。此事难辩真伪，但明初朱元璋的苛政却是史实，官员岂敢擅自在城门上建谢公楼。

     元末明初住在温州百里坊的画家谢子通（1325-1400年），有诗《谢公楼》：南山不与此山连，中有双峰媚一川。川水于今半成陆，谢公楼阁尚衣然。说明元时温州文人便以江心屿谢亭边的江上楼(澄鲜阁)为谢公楼了。

    明人文征明(1470--1559年)曾到过江心屿谢公楼，他有两首诗提及谢公楼，一.《瓯江孤屿》：昔年行李滞东瓯，曾到江心寺里游。孤屿浮空双塔迥，风烟都属谢公楼。二.《寄王永嘉》：曾携书册往东瓯，此日因君忆旧游。落日乱山斜带郭，碧天新水净涵洲。从知地胜人偏乐，近说官清岁有秋。西北浮云应在念，乘闲一上谢公楼。

    邑人王叔杲(1517—1600年)，曾在温州北门前的瓮城废墟上新筑镇宁楼，有《镇宁楼碑记》：“高几与城埒。由城视楼，若设扆于前而负之为护者，盖距城不数十武，而海上之胜可概揽也。”可知此年间城门上并无谢公楼，即便建筑过城门楼，也早已垮塌不存在了。而差不多时期的吴中诗人皇甫汸(1497－1582年)到访江心屿后，有诗《永嘉登江心寺》，亦提及谢公楼：双塔峙琳宫，诸天一水中。回看云岛合，直与海门通。荒寝怜文相，高楼忆谢公。潮声无日夜，流恨古今同。

    弘治温州府志，未载元初温州城墙、谯楼被拆毁后又重建，错道是元禁城郭毋得擅修、子城废毁只余谯楼。又错记谢公楼还在府城北门上。后来人便不知江心屿谢亭边的江上楼(澄鲜阁)即谢公楼，只知道澄鲜二字取于谢灵运之诗。