中岳庙既是祭祀岳神的场所，又是重要的道教宫观。道教虽然兴起于东汉时代，其来源却是我国远古时代的巫术，后来继承了秦、汉以来的神仙方士之传统，历史渊源较长。

中岳庙是道教在嵩山地区的最早基地，原是为了祀奉中岳神而设的。道家尊中岳庙为"第六小洞天"，他们认为这里是周朝的神仙王子晋的升仙之处。王子晋又名王子乔，传说是周灵王(公元前571~545年)的太子。他喜欢吹笙作凤凰鸣声，游于伊水和洛水之间。那时嵩山有一个道士叫浮丘公，接他上嵩山。几十年后，有人在山中见到他，他说，告诉大家，七月七日，在缑氏山头等我。那日，果然见他乘白鹤，盘旋数日后才离去。于是后人在缑氏山和嵩山的顶上都建立了神祠纪念他。嵩山峻极峰以东的白鹤观，背负三峰，左右皆绝壁，即为纪念王子晋而建。

据《道学传》说，道教创始人张道陵曾在嵩山修道九年。南北朝时，又有著 名道士寇谦之在此改革"五斗米道"，创立"新天师道"。峻极门东侧的《中岳嵩高灵庙碑》就是当年刻立的，碑文记载寇谦之修中岳庙和传道的事迹，是关于这位名道最早的记录。此后，历代还有不少知名道士在这里主持过道场。峻极门东侧还有《五岳真形图碑》，这一高3米的碑石雕刻着象征五岳的图象，为明代万历年间所刻立。据道教经典《云笈七签》说，五岳真形图是道士入山辟邪的护身符，一切妖鬼虫虎都不能近。如今河南道教协会就设在中岳庙，每年农历三月和十月庙会热闹非凡，这一习俗至今不衰。

中岳庙在河南登封县城东四公里太室黄盖峰下。黄久约《大金重修中岳庙碑》云: "旧有庙在东南岭上，年祀绵邈，莫知其经始之由。(北)魏大安(即太安，455~459) 中，尝徙于神盖山。唐开元(713~741)间，始改卜于此。"清景日昣《说嵩》卷四 "中岳庙"条称:"岳之有庙，从来久矣。《汉书》:武帝礼登，诏令加增其祠，则庙盖建于元封(前110~105)以前。《唐书》载:元魏徙庙于东南岭上，大安中迁神盖山。今黄盖峰上之庙是已。"现庙内存有《中岳嵩高灵庙之碑》，是该庙最古之碑刻。中云:"天师寇君谦(缺四字)高(缺二字)志，隐处中岳卅余年，岳(缺二十字)是 (缺二字)降临，授以九州真师，理治人(缺四字)国(缺二字)辅导真君，成太平之化，……以旧祠毁坏，奏请道士杨龙子更造新……"一般认为此碑建于北魏，也有认为是唐碑者。

据《说嵩》载，该庙在唐代曾经修葺，有李方郁《修中岳庙记》记其事。宋太祖 乾德二年(960)，也曾修葺，有骆文蔚《重修中岳庙记》记其事。最大的一次修葺在金大定十六年(1176)，黄久约《大金重修中岳碑》云:"遭宋靖康兵革之难，……庙之基构仅存，而缮修不时，上漏旁穿，…… 殆不能支。"从金大定十四年起，即谋求恢复，大定十五年正式下达重修之命，于是"诹日鸠工，众作毕举。庙制规摹，大小广狭，位置像设，悉仍其旧。……总为屋二百三十有八间，其西斋厅以待每岁季夏遣使祭祀之次舍不与焉。始事于十六年四月丁未，绝手于十八年六月戊子。"承安五年(1200)所立之《大金承安重修中岳庙图》刻石，记载此庙重修后之规制，计有:"正阳门、东偏门、西偏门、中三门、东P门、西P门、火池、钟楼、府P殿、土P殿、南岳殿、西岳殿、山灵公、二郎殿、井亭、东华门，西华门、上三门、东P门，西P门、PP房、PP位、亭子、亭子、食门道、九子夫人之殿、玉 圣后之殿、玉仙殿、金夫人之殿、王母殿、角楼、角楼(余漫灭)。"《说嵩》卷四云:据"金承安间图，廊房八百余间，碑楼七十余所，可以想见其盛"。此后，金正大五年(1228)，又曾作过修葺，李子樗为作《中岳庙记》。元代不见重修记载。元末兵乱中曾遭严重破坏。明杨守陈《中岳庙碑》云:"元末兵荒之后，仅存百数间，余皆隳矣。

存者，累岁风雨震凌，濅殆于敝，惟寝殿七间尤甚。”又云： “（明）成化丁酉（1477），大风雨，寝殿之瓦坠几尽，栋榱亦多挠崩。”成化十七年（1481），决定重建，“购材佣匠，悉撤寝殿而重构之，如旧间数，且加壮伟，其余亦皆缮葺可久。

经始于壬寅（1482）五月朔，至癸卯（1483）十二月望日毕工”。AB清初也曾修葺。景日昣《说嵩》卷十五云：“国初，邑人王贡募建正殿、寝殿、峻极门、左右廊、四岳殿，余俱补葺。

历数十年，稍稍损落矣。康熙五十二年（1713）。中丞鹿佑以祈醮贲此，捐俸重修，增饰补葺，糜三千金，属予记其梗概，观察使张伯琮书，立碑于崇圣门外东庭。”较之金元，“壮丽稍减，规模犹存”。其后，历经二百余年，又有废损。现存之中岳庙，较之清初，已有所缩小，但规模仍然甚大。人们可以看到，从中华门起，经遥参亭、天中阁、配天作镇坊、崇圣门、化三门、峻极门、崧高峻极坊、中岳大殿、寝殿，到御书楼，共十一进，长达里余，面积十余万平方米。现存楼、阁、宫、殿、台廊、碑楼等建筑四百余间。其中中岳大殿占四十五间，红墙黄瓦，气势雄伟。为河南现存最大的寺庙殿宇。

主体建筑中岳大殿，面阔九间，进深五间，挑檐抹角，四龙吞脊，顶覆黄色琉璃瓦，庑殿式建筑，朱墙黄瓦，气势雄伟，素有“台阁连天，甍瓦映日”之称，是庙内最大的建筑，殿内正中供奉崇圣大帝中天王，两侧配祀以使臣和侍者及镇殿将军方弼、方相，陈列有清代乾隆皇帝所赐铜铸香案、香炉、蜡合和明代铁钟、大鼓等珍品，殿前两侧各立有亭，一曰御香亭，一曰御制亭，两亭均为重檐八角，结构精良，造型优美。庙内古柏森森，碑石林立，碑石之中最为著名的是北魏中岳嵩山高灵庙碑，该碑碑文记述了北魏文成帝太安二年(456)，著名道士寇谦之修复中岳庙及在此传播道教的经过，是研究道教历史的重要金石资料和古代书法艺术之珍品；庙中还珍藏有铸造于北宋治平元年(1064)的四大铁人像，四尊铁人铸像为我国现存镇库铁人之中形体最大、保存最好、铸造较佳的艺术精品，属道教文物。

太室阙位于中岳庙天中阁南600余米处的中轴线上。是中岳庙前身太室祠的神道阙，始建于东汉安帝元初五年（公元118年），为当时的阳城长吕常所建，与少室阙、启母阙并称为中岳汉三阙。太室阙的位置和神道一直未变，是古代祭祀太室山神的重要实物见证。阙是建在城门、墓门、宫门、庙门前面的两个相峙对称的建筑物，因中间没有横额，所以叫“缺”，古时候“缺”和“阙”这两个字是通用的。阙的作用其实就是象征性的大门，代表着威严。1961年太室阙被国务院公布为第一批全国重点文物保护单位。太室阙是用长方形石块垒砌而成，上刻有汉隶和篆、隶参半的铭文，记述了建阙的缘由及赞颂中岳神的灵验，是研究我国书法演变的重要实物。阙身雕刻有斗鸡、车骑出行、人物、龙、虎等画像50余幅。