太平天 国战争爆发，胡恩燮的生活进入了一段十分艰苦的时期。晚年胡恩燮在叙述自己一生经历的《患难一家言》 中曾这样写道：“顾身世所遭，自乱离以讫承平，其间颠沛流离之苦与经营缔造之艰，则有不能已于言者。”“经营缔造之艰”主要体现在筑建愚园和创办徐州煤矿方面，“颠沛流离之苦”则说的是自己在太平天国战争期间的亲身经历。

    胡恩燮的家人在太平天国期间遭受的离乱之苦也反映了当时绝大多数民众的现状。金陵城陷，咸丰三年夏历二月十四日，焚杀略定，胡恩燮便携仆人赶至铁作坊族伯家，探问寄住于此的家人。但前几日战火纷乱，太平军对城内百姓烧杀蹂躏，族伯一家不能免于难，议定合家饮食鸦片而死。胡恩燮赶至族伯家时，为时已晚，其伤心惨目之状令人悲不自胜。

    如此间一朝毕命的家人共十一人，分别是：胡恩燮的族伯凯封夫妇、二伯母及其女三姑、四伯母之女二姑、胡恩燮十岁的女儿、胡恩燮的小妾陈姬及出生幼女、陈姬之母、族伯家仆妇及其女。胡恩燮自从效力江南大营，任内应之事期间，其弟胡恩燮之妇及其二女，其庶妹相继病殁。胡恩燮与其兄密谋脱眷属出城，先在城外交结北河乡人余、陆二姓借屋安妥亲眷，因当时太平军下令“城中不允坟墓，凡有死亡，所亲儿出城葬”，胡恩燮借此以四位亲属，分别是其嫂与从子，叔母及其女假扮死者亲儿出城安葬，并藏匿窖中，以茅草覆盖，待夜晚无太平军巡视之时，救出四人前往北河余姓住所。

    同治三年，胡恩燮调办三汊河厘局，此时金陵已经收复，胡恩燮欣喜之余，决定举家迁回南京。

    光绪二年丙子（1876 年），胡恩燮谋母老颐养之计，决定开辟愚园，经过两年时间，愚园规模出具，光绪四年戊寅（1878 年）四月，奉母居之，每当名花开放，拥以板舆，子妇竞前，孙曾罗列，天伦之乐可知也。沈源深在《愚园三十六咏序》 中言：“外舅胡煦斋先 生忘情轩冕，隐居事亲，养志承欢，惟恐弗至。”铭泽堂后楼是园主居住的两层小楼

北面一楼中间是客厅客厅内