余荫山房始建于清同治六年（1867年），历时5年，于同治十年（1871年）竣工。

山房故主邬彬，字燕天，是清朝举人，任刑部主事，咸丰五年（1855年），因“克襄王事”被咸丰皇帝诰授为通奉大夫，官至从二品。他的两个儿子也是举人，因而有“一门三举人，父子同登科”之说。

咸丰八年（1858年）邬彬以母年迈为由，辞去官职，归隐乡里。一面全心料理家业，一面又勤奋读书。同治六年（1867年），乡试中举，同年族人将建造潜居邬公祠和善言邬公祠所剩下来，面积约为三亩的土地赏给邬彬。邬彬便参考画师绘制的园林景观图纸和在京任职时获贝勒王爷赠送的一幅水粉画，又借鉴了广州“海山仙馆”的造园技法，利用这块土地因地制宜地建造余荫山房。经过五年时间，耗资白银三万两，于同治十年（1871年）落成。为纪念先祖的福荫，取“余荫”二字作为园名。与余荫山房紧贴相通的建筑就是善言邬公祠，是邬家的祖祠。