裴荫森故居坐落在淮安区河下古镇姜桥巷30号。现在仍为民居。京杭大运河以及京杭大运河（淮安段）16处全国重点文物保护单位之一。没有立全国重点文物保护碑。

       裴荫森（1823—1895），字樾亭，江苏淮安人。家境清贫，年少力志求学，1858年中举人。1860年参加考试，中贡士。1863年中进士，在工部都水司主事。1864年，得乡人相助捐得湖南道台。1867年在长沙办团练，1870年在湖南总督府办营务。此后随李鸿章赴直隶任职，不满李鸿章媚外政策，愤而辞职。

       1883年，61岁的裴荫森调任福建按察使，1884年12月到1890年3月，裴荫森任清代第八任船政大臣。任期之久，仅次于首任船政大臣沈葆桢。他是最后一任的专职船政大臣。自他之后，船政大臣多为闽浙总督或福州将军兼任，名称也时有改变。专职船政大臣实只到裴荫森为止。在历任大臣中，除沈葆桢艰难创业、劳苦功高外，其次便算他的建树颇多了。1890年，裴荫森调京任光禄卿，1891年辞官回到河下古镇病。1895年病逝，终年72岁。