杭州玛瑙寺坐落在杭州沿西湖的北山街中段的葛岭路上，整座寺院为旧址重修，依山傍水，占地1.5万平方米。现有的旧建筑为清同治年间（1862－1874）遗存，主要有山门、厢房及园林等，大殿已荡然无存，仅有遗址。新修复的房舍有亭、台、楼、阁、廊等。其中圆门曲径，莲池花坛，青砖铺地，均依据原样复制。院内古树遮阴，圆门外的一棵古樟已有1600年树龄。登上庭院最高处，还能一睹西湖胜景。
由大门踏入玛瑙寺，左边为5间西厢房，右边是3间东厢房；再往北拐，又进入另一个院落，据说，这里就是昔时大殿的旧址，青砖地坪上隐约还可见到20余个“磉鼓”。整修后的庭院，基本按原样布局，亭台楼阁，草坪花坛，曲径通幽。走到大殿东首，有两层仆夫楼，飞檐翘角，颇具江南古典园林韵味。楼前有一小亭，称“仆夫亭”。仆夫楼旁，一淌流水潺潺，据介绍，此即“仆夫泉”。明代张岱《西湖寻梦》有：“僧侣芳洲仆夫艺竹得泉，遂名仆夫泉”的记载。越过仆夫泉，举头望去，院中有腊梅数棵，其中一棵树形盘曲，姿态丰富，正是号称“西湖腊梅王”的梅树，年轮已达百岁之上。玛瑙寺连横纪念馆。连横，字武公，号雅堂，祖籍福建漳州龙溪县，清光绪四年即公元1878年出生于台湾省台南的一个富商之家。清初其先祖从故乡福建龙溪移居台湾省，到连横时，已历七代200多年。连横是前国民党主席连战的祖父，是台湾著名爱国诗人和史学家，被誉为“台湾文化第一人”。在日本殖民统治下，“生根台湾，心怀大陆”的连横努力发扬中华文化，他服膺孙中山领导的同盟会纲领，将光复台湾的希望寄托在祖国的复兴上，并参与了推翻清朝的斗争。著有《台湾语典》和《大陆诗草》等，并整理了《台湾通史》一书，声名远播。

1936年春，连横在沪患肝病，6月28日病逝，享年59岁。弥留之际，嘱咐儿子连震东：“今寇焰逼人，中日终必有一战。克复台湾即其时也，汝其勉之。”后不到二月，震东诞子，因名之为“战”。此事连战在《祖父与我》一书中亦提起。

玛瑙寺依山而筑，粉墙黛瓦，掩映在葱郁的古树中，是杭州西湖风景名胜区的一座古代著名佛寺。纪念馆运用玛瑙寺原来的厢房作为展示空间，共分为7个展厅，分别是台湾自然环境厅、历史文化厅、台湾原住民厅、连雅堂纪念厅、台湾人物志厅、传统工艺厅、现代工艺厅。

1926年春，连横、沈少云夫妇来到杭州，安家于玛瑙寺内，研究整理文史资料。其子连震东曾到此探亲居住。1927年1月，因北伐军进驻江西且逼近浙江，连横恐遭战祸而携眷匆匆离杭返台。

2006年，连战首次来杭参访，对玛瑙寺的建筑及环境保护给予高度评价，并提出了将玛瑙寺建成海峡两岸文化交流平台的设想。在各方的努力下，经两年时间，“连横纪念馆”由台湾财团法人“国政研究基金会”与杭州西湖风景名胜管委会共同筹备建设完成。