泰山庙原为四进级院房，入口处有八字墙，城门式的墙上书有“泰山庙”三个隶体大字；第二进为两层楼房；第三进是一座雄伟的古式建筑物枣飞檐楼，两边建有厢房数间；第四进为藏经楼。

1941年1月25日，新四军于皖南事变后在盐城重建军部，同年2月27日军部迁驻庙内。当年7月，日伪军发动对盐阜区第一次大“扫荡”，军部撤出，向阜宁县陈集区停翅港转移，泰山庙遭到敌机狂轰烂炸，破坏十分严重。至建国前夕，仅存遗址。1985年5月，盐城市人民政府根据中共中央宣传部和江苏省委决定，照原样重建，于次年10月建成并对外开放。