榉溪孔氏家庙位于榉溪村中部，坐南朝北，门口匾额上"孔氏家庙"四个字依稀可辨。由前后三进组成，建筑面积836．22平方米。家庙正厅明间木梁上雕着龙，屋柱84根，柱中明显留有宋、元、明、清四个朝代的式样。现属清代建筑，布局完整、建筑保存状况良好。

    据史载，榉溪孔氏家庙最早建于南宋宝祐年间(1254年)。朝庭恩赐照（浙江）衢州南宗孔庙例，建家庙于榉川南岸杏檀园。榉溪始祖孔端躬原籍山东曲阜阙里，系孔子４８世裔孙，登进士第。宣和三年（1121）授承事郎，大理寺评事。建炎四年（1130），金兵陷兖州，端躬与父若钧，伯若使傅，兄端友等扈驾（高宗）南渡至浙。伯与兄寓居三衢，端友袭封衍圣公，谓孔氏衢州南宗。而端躬侍父随驾抵（浙江）台州章安镇，辞驾欲赴三衢与衍圣公会合，道经永康之榉川，父若钧病逝，不胜悲悼，决意丢官弃禄，以草木为伴，自食其力。遂葬父于川北钟山之后坞，隐居榉川。