在棠樾牌坊群旁有两座祠堂，一为鲍氏敦本堂祠，俗称男祠。另一为鲍氏妣祠，又名清懿堂，俗称女祠。其中女祠破“女人不进祠堂”的旧例，为国内罕见。
    鲍氏敦本堂祠始建于明代嘉靖末年（公元1561年），清嘉庆六年（公元 1801年）重修。坐北朝南，三进五开间，砖木结构，门厅五凤楼式，大门前有石坦，坦上摆六角形旗杆磴五对，靠近祠堂有石阶数梯，皆青石板路面，祠门两壁呈八字形墙，满饰砖雕。整座祠宇结构简洁，工艺精湛，布局合理，气势恢宏壮观，具有浓厚的徽州古建筑特色。
     在封建社会，祠堂是供奉祖先的地方，也是男人们商量大事开会之地，教书育人之地。祠堂是一个家族的根，它通过宗法制度把整个家族凝固在一起。
     清懿堂女祠建于清代嘉庆年间，借以纪念为徽商的辉煌同样作出牺牲和贡献的鲍氏妇女。“清懿堂”三字巨匾高悬在享堂照壁正中，堂以“清懿”为名，取的是“清白贞烈、德行美好”之意，是一曲妇女的颂歌。
     女祠面阔、进深比男祠还略长一米左右，同样五开间，三进，依次为门厅、清懿堂主厅和寝堂与享堂，整座建筑以硬山式高低错落马头墙外观为主要特色，惟有后进部位为歇山式阁楼。双天井设计既可保证祠堂内部的采光、通风要求，更寓示着“妇女也顶半边天”的深刻含义。
     石制的柱础、龛座、栏杆、抱鼓石，砖制的八字墙，木制的雀替、梁驮、外檐柱撑等，皆施精细雕刻，典雅细腻，柔中透刚，玲珑剔透，精美绝伦。整体建筑给人的感觉是：结构紧凑，用材匀称，造型流畅，刚柔相济，内秀而外朴，端庄而不刻板。
     一般的祠堂都是坐北朝南，可“清懿堂”女祠却是坐南朝北。而且是从侧门进入。这种构思据说取自于《易经》上“男乾女坤、阴阳相悖”的哲理，既为女祠，当然得与男祠相反。同时，北堂古为母氏所居，坐南朝北，旨在颂扬母恩母德，可见女祠设计之良苦用心。