蔡元培祖父嘉谟公于清道光年间在笔飞弄购置房屋。1868年1月11日，蔡元培诞生于笔飞弄，座楼东次间即为其书房兼卧室。

1987年，建成蔡元培纪念馆。1988年1月11日，蔡元培诞辰120周年之际对外开放。1989年12月，公布为浙江省文物保护单位。1999年，文物部门又对第三进座楼及后厢房进行修复，按原状陈列。2000年3月5日，蔡元培逝世60周年之际故居全部对外开放。

1989年12月，蔡元培故居被浙江省人民政府公布为浙江省文物保护单位。2001年6月，蔡元培故居被国务院列入第五批全国重点文物保护单位。

蔡元培故居坐落在绍兴城区笔飞弄13号。蔡元培故居主要建筑有门厅、大厅、座楼，占地1856平方米，建筑面积1080平方米，砖木结构，花格门窗，乌瓦粉墙，青石板地。

蔡元培故居的主体建筑是坐北朝南，为砖木结构，共三进。第一进门厅坐西朝东，上悬刘海粟手书“蔡元培故居”匾额；第二进厅堂和第三进楼房均坐北朝南，三进分布不在同一轴线上。第二进一堂两厅，已辟为陈列室，堂厅正中放着蔡元培半身塑像，颇有学者风度。左壁悬有毛泽东撰、沙孟海书的“学界泰斗，人世楷模”巨幅联语；右壁有周恩来撰、沈定庵书的“从排满到抗日战争，先生之志在民族革命；从五四到人权同盟，先生之行在民主自由”的对联。后进为坐楼，五楼五底，蔡元培就出生在此处，并度过了童年和青少年时代。蔡元培故居大厅前厢房、大厅及两边间、座楼前西厢房及座楼西边间均辟为“蔡元培生平史迹陈列室”，介绍蔡元培先生一生业绩。

蔡元培故居是一座富有绍兴特色的明清台门院落，坐北朝南，平面结构呈东西对称，砖木结构、青石板地、乌瓦粉墙、花格门窗，使其具有鲜明的绍兴地方特色。

共三进，前两进为明代建筑，第三进为清代建筑。依次为门斗、大厅、座楼。