五叠堂建于清嘉庆年间（1796-1820）。因建筑共有五进，且后一进地势都较前一进高（寓意步步高升），犹如一堂叠着一堂，故此得名。五叠堂座西北朝东南，为硬山顶砖木结构，共五进四天井，其中第五进为两层。面阔10.3米，总进深53.8米，面积约555平方米。壁画、灰雕等图案生动形象，具有一定的艺术价值。此户人家姓杜，善于做豆豉，做出的豆豉又黑又香，为人厚道又老实，注重声誉，从不缺斤短两，所以生意越做越大，甚至做到了广东、东南亚一带，扬美豆豉也因此得以享誉各地。