据有關資料和族人回憶，王家自第五世克誠(四通)起，家業開始興旺。他有功名，在明朝廷供職。在他手裏把村裏的頭號地主家的房子買下，還買下這家的祠堂。克誠的三子可扶（君臺），仍在明朝廷供職，已擁有雄厚的財力。可扶的三個兒子世耀、世洪、世俊各建一所大宅院，世耀的長子開泰把到他的曾祖克誠買下來一直那所房子稱為南院，同时又蓋了一處規模很大的新莊戶。世耀的次子開周另建西院。世洪的兒子國學另建西北院（又稱小北院)。世俊的兒子緒泰另建東北院(大北院)。故王家從第八世分为四院，名稱保持至今。

第九世廷頤（徵隆）在世時值康熙年間，國泰民康。他既为官，覺得原祠堂不夠氣派，又動工在原地重修，一切仿照宮廷建築，“具體而微”。同時主持修訂家譜，並請畫師為祖先王峯、嘉賓、良翰、建極．克誠、可扶、世耀等畫像，在祠堂內懸影。

廷颐的次子仲倫（篪轩、老池）曾資助張之萬考取壯元。張之萬、張之洞成為晚清重臣後，对王家照护颇多。仲倫及次子振锜又與晚清重臣倭仁有交往。凭借这些关系，王家一直维持着興旺。

從第六世可扶至第十一世振锜等共六代，由於歷年朝廷俸祿頗多，遂不斷買下田地出租，並逐漸在北京、天津、保定和易縣城關、易縣塘湖鎮、定興縣姚村、淶水縣等地開設了許多買賣。有雜貨食品莊，有綢緞布疋莊，也有當鋪。

及至八國聯軍侵略中國，王家开始進入衰落時期。戰亂中，王家在北京、天津、保定的買賣都大受影響，特別是當鋪，被侵略軍洗掠一空。有的鋪家就此一厥不振，或倒閉或轉讓出去。

“戊戌變法”带来的新學東漸，以及八國聯軍侵略造成的家族衰败，王家意識到通過科擧博取功名的老路已经不通，應當讓子弟接受新式教育，成為人才，至少要走出家庭到外面見識一下世界潮流。為此，送出家族青少年多人到北京、天津或保定的新學堂去讀書，僅南院就送出二十多人。这就為王家後来的发展奠定了基礎。

1937年7月日寇侵佔北京，盗匪并起。東婁山先是被地方武装孟閣臣部占据，后又被地方武装趙玉昆部取代。土匪相争，將王家搶掠一空。不僅金銀、珠寶、玉器丟光，許多稀世文物如絹本二十四種畫圖、宋代大理學家朱熹的墨寶、趙子昂的八駿圖、八大山人及董其昌等人的墨寶均遭劫掠。王家的多所房屋也被燒成廢墟。從此王家徹底破產。

王家大批子弟從此走上抗日疆場，或参加八路軍，或奔向大後方。孟、趙两部則因為表面接受八路軍領導，實際与日寇暗中来往，甚至又叛變，最終被八路軍楊成武部消滅、改编。