慈城设治始于吴越勾践时（约公元前495年），名叫句章。县治在余姚江畔城山地方，作为越国的屏障。
唐朝开元26年（公元729年）房琯为令，迁县治于浮碧山以南，浚疏阚湖，以灌溉城郊；又以汉名儒董仲舒云世孙董黯母患屡疾，喜欢大隐溪水，奉母筑室以待，担溪水供母饮，母病渐愈，以此故事以名县称为慈溪，属明州。
慈城是江南极少数保存较为完好的县城，保存了完整的传统生活结构方式，保留下来的传统建筑中不但有大量的民居建筑，还有孔庙、会馆、牌坊、古井等公共建筑、构筑物。遴选出来的慈城古建筑群是其中最优秀、具有代表性的建筑。其中孔庙布局完整，规模宏大，为浙东地区现存最为完整的文庙，反映了儒学在传统生活中的重要性及其深远的影响。明代的甲第世家、福字门头、符卿第、布政房和清代的冯宅等名人故居，做工精致，用料考究，是当地民居的代表作，其周围仍保留了完整的传统街区，历史环境未有大的改变，集中地反映慈城明清时期建筑风格和生活气息。冯岳彩绘台门是江南彩绘的重要实例，具有宋式彩画的遗风。