三清山历来是道教胜地。相传明建文帝称赞它为“高凌云汉江南第一仙峰，清绝尘嚣天下无双福地”。据史书记载，东晋升平年间（357-361年），医药学家、炼丹术士葛洪到三清山结庐炼丹，至今山上遗有葛洪所掘的丹井和炼丹炉的遗迹。于是，葛洪便成了三清山的“开山始祖”，三清山道教的第一位传播者。

三清山为历代道家修炼场所和隐士的世外桃源。自晋朝葛洪开山以后，便为信奉道学的名家所向往而渐成为道家的洞天福地。“唐建老子宫观，称三清福地”。

僖宗时（873-888年）信州守备王鉴奉旨抚民，到达三清山北麓，见此山风光秀丽，景色清幽，卸任后即携家归隐在此。宋乾道六年（1170），王霖捐资重建三清观殿宇，供奉三清尊神，后因世乱，观废址毁。明景泰、天顺年间（1450-1464年），江浙滁州詹碧云亲自规划设计，并假手王霖后裔王祜出面协助其事，对三清山道教建筑进行了大规模的重建，外层按照“伏羲先天八卦图式”、内层按照“文王后天八卦图式”、核心按照“北斗星空图式”隐秘布局，东从金沙龙泉桥，西从汾水步云桥，至风门天人合一，到天门三清福地，终玉京峰顶，辍点命景，浮雕石刻，共兴建宫观、亭台、石雕、石刻、山门、桥梁、泉池等200余处，使道教建筑遍布全山，其规模与气势，可与青城山、武当山、龙虎山媲美。因此，三清山有“露天道教博物馆”之称。

三清山风景名胜区内资源丰富，景点众多,景观“东险、西奇、北秀、南绝”。中国著名散文家秦牧赞之为“云雾的家乡，松石的画廊”，中国国家风景名胜专家清华大学教授朱畅中游三清山后题“五岳归来不看山，黄山归来不看岳，看罢三清和黄岳，三清定将胜黄岳”。历代名臣名家王安石、朱熹、苏东坡等都在这里留下了足迹。

明朝为三清山道教活动的鼎盛时期。山上的道教建筑也如雨后春笋般大量出现。至景泰年间，山上已经建起龙虎殿、方士羽化坛、玉零观、纠察府、演教殿、九天应元府、潘公殿、方壕上、天门石坊、飞仙台、流霞桥、石阶“众妙千步门”、“冲虚百步门”等建筑，并重建三清观，改建三清宫。明代的宫宇建筑十分独特：前后两进，坐北朝南，以山上花岗岩雕凿干砌而成，石梁石柱,四周配以石墙,内供玉清,上清、太清三尊石雕石刻神像130尊，摩崖题刻45 处。