王阳明出生在余姚北城内的瑞云楼，包括瑞云楼在内的整个王阳明故居保存基本完好。本世纪初，经余姚市政府拨款三千余万元重新扩建并开放，成为余姚一处极为重要的人文景观。许多人参观之后都要大加赞赏。然而，王阳明出生的瑞云楼，原本是阳明先生的祖父王伦租赁于官宦大族莫氏的房子，不是王家所建。而有一处确为王阳明封为“新建伯”之后所兴建的“新建伯府第”，简称“伯府第”，则更为豪华庞大。

　　正德十六年（1521）十二月，王阳明因平定宁王朱宸濠谋叛之功，封为“新建伯”，于次年的嘉靖元年在绍兴府山阴县西北隅光相坊择地兴建“伯府第”。“新建伯”是衔头，“新建”是县名，地处南昌城之西北。由于“伯府第”气势非凡，以致早在明清时期，绍兴与余姚两地的民间就流传着一个说法，叫做“吕府十三厅，不及伯府一个厅”。吕本亦是余姚人，于余姚南城建有“宰府第”，另在绍兴府山阴县西北隅光相坊择地兴建了“吕府”。

　　现今，不少先富起来的农民，都喜欢到城里买房定居，实际上，在过去也是如此，不少人因做官发了财，同样喜欢到高一级城市建房寓居。余姚县历来辖属绍兴府，因而不少余姚籍的官员如谢迁、谢丕父子（探花桥探花台门），孙鑨、孙鑛（两都冢宰府），郑遵谦、邵廷采等，都喜欢到绍兴城里建房寓居，往返于余姚、绍兴两地，在绍兴城里至今尚留存有他们的府宅。

　　王阳明建造“伯府第”本是朝廷的恩赐，土地当然由政府划拨，无需出钱购买，其中主要建筑的资金亦由朝廷来出。王阳明功高赏厚，凭着雄厚的财力，当然要在建造府第之时，乘机扩大建筑面积。这扩建部分当然得自己掏腰包。我们先来计算一下王阳明的官俸收入：正德十四年七月，王阳明平息宁王谋反，宁王府里堆积如山的财宝，部分上缴国库，部分用作将士们的赏赐，还有部分当作变产官银代江西受灾百姓缴纳欠赋；此外，作为胜方的最高指挥官，截留点战败者的财宝以作今后归隐之用，亦属合理之举措。此外，王阳明被封“新建伯”暨南京兵部尚书，除了丰厚的赏银之外，还有规定的朝廷俸禄。查《明史·食货志六》载：洪武十三年重定文武百官岁给禄米制，公五千石，侯千五百石，伯千石。王阳明是“伯”爵，就有千石禄米。再按《明史·职官志》：“兵部尚书一人，正二品。”而王阳明又有“特进光禄大夫”“柱国”的衔头，可以享受正一品的俸禄。明代官俸极低，查《明史·食货志》载：“正一品月俸米八十七石。”王阳明正一品的月俸米，乘以十二个月，年得一千零四十四石，加上伯爵的千石，每年共有二千零四十四石禄米。按明初洪武年间的银米比价，米一石折银一两。但到王阳明任职的正德、嘉靖年间，因灾旱较少，米价已经趋低而相对稳定，市场实际米价是石米银四钱七分至五钱八分之间，我们来一个折中，按实际市场价石米银五钱二分来计算，王阳明年俸米二千零四十四石，乘以银五钱二分，即一千零六十二两八钱八分银子。此外，正德十六年，王阳明嗣子王正宪受荫世袭锦衣卫百户，正六品衔，月俸米十石，岁禄一百二十石，亦可折银六十二两四钱。既然王阳明有着“新建伯”伯爵、兵部尚书、特进光禄大夫衔，来源应该说是富足的。

　　按明代正常年份来计算，七品知县官的月俸禄米七石五斗，岁禄九十石，折银四十六两八钱。以当时农田收成亩产三石计，人十亩，年收获三十石，辛苦一整年仅可折银十五两，除去缴纳皇粮，江浙赋独重，有高达亩缴一石者，剩余人均年收入十两银子已经不错了。

　　现在再回到建造“伯府第”。择地山阴县西北隅光相坊，光相桥之东。光相坊被视为祥和福地，面对“北海桥者乃李邕寓居之地，谢公桥者为谢灵运寄寓之所”，谢公桥与光相桥南北相距里余，两桥之间的王衙弄内有一方旷土，此地环境清幽，西临河池，正宜居住。于是在光相坊境内，西河以南，西小河东岸，北海桥之前，谢公桥之后，筹建“伯府第”，占地十八亩。其中“伯府大厅”全用楠木构成，高大宽敞，器宇轩昂。“伯府第”于嘉靖二年竣工，王阳明丁父忧家居六年期间，即于此汇聚弟子讲学；每当除夕和新春时节，汇聚王氏子弟于此祭祀祖先；并于此迎接圣旨、会友见客。“伯府第”正门前有一方“碧霞池”，又称王衙池；后院有四周用条石筑就的南北宽近十米、东西长四十来米、高近五六米的观星台。“伯府第”又称作“宫保第”，由王阳明自己居住；另在光相桥之西北依次另建状元第，由弟守俭居住；翰林第，由弟守文居住；学士第，由弟守章居住。四座大台门宅第，檐角交错，鳞次栉比，甚为壮观。“伯府第”四周空隙地较为宽广，前有碧霞池，后有观星台；而且王家的四个台门隔河相望，视野高旷，给人一种疏旷的感觉。

　　“吕府十三厅”建于嘉靖后期，比“伯府第”晚四十来年。“伯府第”在北，“吕府”在南，两府隔衙弄相望。中间横一弄，原名黄衙弄，后因王家伯府第所在，改叫王衙弄。

　　民国十三年正月十九日下午，刚闹完元宵节三天灯会，悬挂的祖宗神像刚刚收下珍藏，“伯府第”不慎失火，大厅烧毁殆尽。为了居住，大厅遗址四周先后修复住宅建筑，惟大厅已无力修复。时至现在，唯有“伯府第”正门前的碧霞池和北首的观星台尚存；还有一个被火烧毁的侧门，至今尚在冷落之中，向人们诉说着当年的辉煌。