朱家在朱幼鸿时代，全家都住在工厂里(长安路920号)，以厂为家，每天晚上老太爷还要亲自巡视厂房一周。但他1925年去世后，儿子们就在厂里呆不住了，各自在新乐路、霞飞路等上好地段买地造屋，于是也就有了朱斗文的这幢漂亮的花园洋房，在他这房5兄弟中是最漂亮的一幢。楼里的彩色玻璃和吊灯、壁炉等设备均是从国外进口的。而且，他接连娶了6房太太，全部和平共处在这一幢楼里，其云香鬓影、垂帏秘事，可以想见。朱家兄弟姐妹多得出奇，虽然朱斗文的亲兄弟只有5人(其余如朱靖候、朱如山、朱懋秋、朱荣广)，然而大排行的堂房兄弟竟有30余人，加上姐妹就更多了，其中不乏各界名士，有知名企业家、银行家、江南造船厂总工程师、第六人民医院主任医生，还有一名杰出的革命音乐家，即《唱支山歌给党听》的作曲者朱践耳先生。他在朱家兄弟大排行中名列第32，是个小兄弟。朱家小姐中也有一个出名的叫朱联芝，嫁给史量才的儿子史詠赓，后来去了美国。

建筑中部有个透明顶棚，阳光撒进楼内。