安城镇马家渡在西苕溪东岸，曾名马家渎，同治《安吉县治》卷四：“马家渎……有千奇山、樊坞、青岘诸水积而为渎……”。村北原有德新桥，明嘉靖六年（1527年）桥毁设渡，名马家渡。又《安吉县志》载：“灵芝塔在顺安乡马家渡南山麓，相传五代吴越时建，虽不甚高而至今千余年，巍然独存。”北宋政和二年，灵芝塔旁又建成了东岳行官及行官碑。

    灵芝塔塔属楼阁式砖塔。八面九层实心体，通高22.46米。每层每面辟有壶门式壁龛，每层用平砖和菱角牙子相间迭涩出檐，迭涩檐的立面上下均微向内收，保留唐代遗风。檐面覆筒瓦，勾头饰宝相花，花瓣丰满。滴水饰重唇锯齿纹。戗脊饰脊兽。铁刹由覆钵、仰莲、相轮、宝瓶等组成，相轮九重。

    灵芝塔是浙江境内保存的屈指可数的五代吴越国八边形砖石楼阁式塔原体之一，十分珍贵。1989年9月塔顶部龙头等构件被盗，塔檐大部不存，塔刹严重倾斜，后修复。今塔通高23米。列为浙江省重点文物保护单位。