南宅子的平面略呈矩形，大门位于庭院东北角，硬山形屋顶，面阔三间，今所见的当心间为后来改建时所加胡氏清代的一位夫人的节孝牌坊。大门当心间门额上题有“副宪第”三字，表明了主人的身份。门内为一小天井，正对大门的是影壁。天井西侧有一垂花门，门额题有“桂馥”二字。垂花门通入前四合院，南边房屋为正屋，在两进的四合院中这一正屋又为过庭，通过它可以直达后四合院。前后两进四合院的正屋自明万历朝建成之后，未进行过大的翻修，至今依然保持着400年前的原貌，这在全国范围内也是极为罕见的。

    南宅子前院正屋面阔五间，屋顶为悬山式，大木梁架上承五根檩子，俗称五架梁，屋檐下以抱头穿插式作出走廊，为普通民居所少见。柱头、栏额和雀替上的雕饰既不同于江南徽派民居的精细，也不同于富商居所的流俗。透过历史风尘，保留至今的南宅子柱头上的如意云朵用圆转流畅的阴刻线，表现出云气的层次，简洁、粗犷而又圆润，呈现出一种自然的漂浮感与上升感，脱俗与沉稳的气蕴，与文人气息浓厚的明式家具风格一脉相承。倒座的雀替上，一条透雕的螭龙身躯翻转，上半身为龙形，下半身为花草，与明代青花瓷器上的纹饰异曲同工。东西厢房的栏额上则装饰有透雕的花草纹饰，枝叶连绵不断，极似佛教建筑常见的忍冬纹。

    院内地面以色泽深浅不同的卵石铺成九宫格、太极图、太阳等图案，每当雨水浸湿时，尽显华丽而神奇。