北宋末年，民不聊生，方腊借助明教策划暴动。他们传播民谣：粮食登场官府抢，石塔露水腊为王。于1120年的冬天，举兵攻陷城池，逢庙即烧见官便杀。1121年4月19日，方腊的洪载部进抵温州城下，永嘉楠溪俞道安率教徒积极响应。温州江心屿寺庙及东、西佛塔，焚于此劫。

    据1141年刘愈撰写的《东西塔记》碑文记载：龙翔、兴庆二峰之巅，旧有宝塔，其西建于后唐之末，其东建于我宋天圣间。顷因兵火，与院俱烬，惟故址存。可知此次火灾非常严重。

    刘愈(1096--1166)号无相居士，是叶适的蒙师，热心于公益，永嘉楠溪之名士。兵火后的第十八个年头，1138年，刘愈和比丘净宣率信徒捐资重建了东塔。但资金不足，西塔仅依焚烧后的形状增加些木结构，三年后两塔修建完毕。《东西塔记》道：其西则加椟楹椹，盖砌而丹获焉。以其旧筑耸固，无事改造也。其东则撤而筑之，凡形制严饰悉。与西塔等资用之丰，无虑二万缗。

   但因人这样断句：其东则撤而筑之，凡形制严饰，悉与西塔等，资用之丰，无虑二万缗。故今人皆以为此次修建后，江心屿东西两塔形制外观相同。此处的悉字，应作全字解，只形容东塔。如陆游的《入蜀记》：然十二峰者不可悉见。

   江心屿西塔火后废墟，历经十八年的暴雨台风，旧筑定然不再是焚烧前的高度。方腊兵劫后，杭州六和塔由官方重建，而杭州雷峰塔是僧人募资修整，雷峰塔原高七层，重修后是五层。七宝塔改多宝塔，亦合佛教形制。刘愈的《东西塔记》开头，有提及：于佛如来入灭度后，起七宝塔以供养之。又多宝如来临灭度时云：‘欲供养我者，应起一大塔。’由此观之，我佛如来亦欲众生观兹圣相……

   距江心屿两塔重修建后约六十年，徐照（?～1211），永嘉四灵之一，有二首诗提及江心屿西塔。

    一.《题江心寺》 

    两寺今为一，僧多外国人。

    流来天际水，截断世间尘。

    鸦宿腥林径，龙归损塔轮。

    却疑成片石，曾坐谢公身。

    二.《赠江心寺钦上人》

    客至启幽户，笋鞋行曲廊。

    潮侵坐禅石，雨润读经香。

    古砚传人远，新篁过塔长。

    城中如火热，此地独清凉。

    永嘉四灵，推崇诗作贴近生话，“不兴高远之言，验物切近之实。”徐照更是四人中此诗论的首倡者，叶适为他撰的墓志铭道，徐照诗“然无异语，皆人所知也，人不能道尔。”他的《题江心寺》诗句：鸦宿腥林径，龙归损塔轮。指传说中栖住在江心屿龙宫中的江龙，清晨从东塔龙翔峰飞翔而出，晚归则旋落在西峰的损塔处。若两塔重修建后形制外观相同，徐照怎会道修复完整的西塔是损塔。而《赠江心寺钦上人》诗句：古砚传人远，新篁过塔长。则形容塔不高，此诗句不是形容新建的东塔，而是指塔高受损的西塔。徐照的诗句并不夸张，毛竹最高可达25米，现今江心屿西塔7层高32米，若5层塔则除7乘5，是22.85米。

    到宋末元初时，温州平阳诗人林景熙(1242～1310)，有一首《江心寺》诗：

    佛借龙宫五百年，平分城树与村烟。

    丛林忽涌中流地，双塔曾擎半壁天。

    石色带云笼客袖，磬声和月落渔船。

   袈袍不限侵门水，十载何人坐象筵？ 

   林景熙道：丛林忽涌中流地，双塔曾擎半壁天。一个曾字，显然此景不复存在。遗憾的是宋末有多个诗人吟咏过江心屿及双塔，但都未详尽描写及塔况。

   元朝浙江长兴人朱晞颜，曾在温州平阳做过掾史，后去乐清长林任盐官，他经过温州时住在江心屿--我来荡底觅双雁，憩此一夕心神融。写了首《游江心寺》，他的诗中江心屿西塔已南北方向倾斜，成了危塔：飞涛怒捲高下雪，坏塔倒挂东西虹。

   为什么确定朱晞颜诗中的坏塔即西塔？因为较朱晞颜稍后时期的元朝画家，温州人王振鹏，于1323年画了幅纪实性风情画《江山胜览图》。此画中的江心屿，只有东塔而不见西塔。王振鹏的画作具有很高的参考价值，它填补了文字史料的空白。温州志书均记载，元朝时温州城墙尚存，但此画中温州城北并没有城墙，而考古发现，元朝温州的确没有城墙，只是元末，方国珍盘踞温州时(1357～1367年)修筑了较简陋的城墙。

    史料记载，江心屿西塔于明朝1377年重建至1378年完工。而后，在温州平阳人章纶（1413年～1483）的《陈都阃招饮江心》诗中，便又是如此景象：一川砥柱横沧海，两塔凌空映彩虹。

王振鹏《江山胜览图》中的江心屿