“五岳”系统关系着古代统治者的正统性。古代皇帝贵为天子，代上天掌管天下，因此他所在的都城必然要居于天下之中，被五岳所环绕。

其中，华山、嵩山、泰山三者的地位无可撼动，西岳华山附近有长安城，

中岳嵩山附近有洛阳城，

东岳泰山是经济文化发达的齐鲁大地上最雄伟的山 ，

所以这三座大山的地位早在秦汉时期就逐步确立了。相较而言，南岳和北岳的问题，直到明清时期才定下来。

由于东有大海、西有高原，东西向扩张到秦汉时期就基本完成了，之后逐渐放缓，因此东西向的华山、嵩山、泰山成名较早。

而统治者对南北向的控制力刚开始比较弱，文化滋养也有限，一度很难在南北方找到能与华山、泰山媲美的名山。

最初的南岳指的可能是霍山，也就是今天安徽西南的天柱山 ，但随着古代统治者对全国南北方的控制力增强，南岳就向南移动了。隋文帝杨坚统一天下后，看到了湘江之滨的衡山，于是下诏把地理位置更南的衡山定为南岳，原来的霍山由最高级的“岳”被降格为次一级的“名山” 。

再看北岳，北岳恒山最初并不在山西大同，而是在河北保定的曲阳 。但金元明清时期，北京作为都城，而北京在保定以北。换句话说，皇帝竟然住在北岳以北，不在“五岳”系统内部。天子如果祭祀北岳需要向南走，这实在有点尴尬。于是，从金代开始人们就讨论，有必要调整一下五岳系统 。最终在清朝顺治年间，皇帝下诏以后要祭祀山西浑源县的恒山，河北保定因此痛失“北岳” 。