连绵逶迤的五岭山脉，气势磅礴，至连州已是余脉缭绕了，而在西江镇境内却突然气势陡起，横空耸立起一座海拔一千七百多米的高山——东岳山。在东岳山上有一个规模宏大的建筑群，建筑群分为三个部分。整个建筑群就象一座宏伟的宫殿。据说以前这座宏伟的宫殿，石墙铁瓦，雕梁画栋、气势不凡。但由于山势陡峭，山路崎岖，东岳山平时人迹罕至，再加多年的风雨侵蚀，东岳山上的宏伟建筑群已剩下了残垣断壁，只有门楣石匾上镌刻的“东岳行宫”四个大字，仍然静静地屹立在东岳之巔，向世人展示昔日的辉煌。

据民国二十七年（1938）的《阳山县志》记载，东岳行宫始建于清光绪二十四年（1898），民国三十五年（1946）重修。该宫坐东北向西南，面阔3.07米，进深3.89米，石墙搁檩式架构，门额上镶“东岳行宫”石匾，前置石砌祭台。现存石砌墙壁、雕花石台一件，陶器、瓷器碎片随处可见，石墙缝中垫塞铁片，是民间为祭祀泰山主神而建的祭祀场所。

阳山县黄坌镇人称之为“头庙”。据《阳山县志》记载，该行宫“石墙铁瓦”， 后因遇大风吹袭，铁瓦片被吹走。据《连县地名志》记载,该行宫是广东省海拔最高的寺庙，有较重要的文物价值。