杜周以一介小吏起家，位居公卿，家资累万，三个儿子也都风光无限，长子、次子成为河南、河内郡守（这是当时仅次于京畿的地方大员了）。但真正让这个家族得以风光的却不是这两个大儿子，也许他们过多延续了父亲的“酷暴”，以至于在杜周之后的仕途并不稳定，于杜家发展并未起到更大作用，史书只是匆匆七八个字便带过了。

真正让这个家族兴旺的则是三子杜延年，这个最不像老子的儿子成就了这个家族百年的辉煌。当然，杜延年有杜周这样一个位居三公的老子，的确让他在仕途上获益不少。昭帝初立，大将军霍光把持朝政，“以延年三公子，吏材有余，补军司空”。这是杜延年仕途的开始，有着大将军的庇护，可谓顺风顺水。加上始元四年益州蛮夷的造反事件，延年在此事件中表现出了果敢与英勇。燕王、盖主、上官桀等人的谋反事件更让杜延年受到了皇帝的赏识，准确讲是霍光的认可，“封为建平侯”。

杜延年的入世得意于霍光的赏识，但他并不像他的父亲杜周那样唯霍光马首是瞻。当然这并不是说杜延年对霍光不够忠心，在原则问题上他与霍光是一致的，但在实现的途径却又有自己的想法。霍光是从汉武帝时便出入朝堂的老臣了，他深受武帝时朝政的熏染，身上多多少少沾染了武帝时的风气，滥用刑罚、奢侈师旅等。延年则不同，他待人宽厚，不主张用狱严苛，适当的以德辅政则对大将军更为有利。更主张“修孝文时政，示以俭约宽和”。举荐贤良，议罢酒榷盐铁，这些一系列举动对于昭帝初期乃至昭宣盛世的开创都奠定了基础。当然也赢得了霍光的欣赏，每有疑问，他都询问杜延年。