远古时期，景山同北海等处均为永定河故道。现在的景山所处的河道地势较高，在永定河改道后逐渐成为土丘。辽代营建瑶屿行宫（今北海公园琼华岛）时，将余土堆积此处。金代大定十九年，金章宗在该地南侧建太宁宫，凿西华潭（今北海），在此地堆成小丘，建成皇家苑囿，称“北苑”

元世祖忽必烈于至元四年（1267年）营建大都，土丘一带正处大都城中心，皇宫的核心建筑延春阁以北，故被辟为专供皇帝游赏的“后苑”。时将原小丘称作“青山”，又称“镇山”。

永乐年间，明成祖朱棣在北京大规模营建城池、宫殿和园林。故将挖掘紫禁城筒子河和太液、南海的泥土堆积在“青山”，形成五座山峰，称“万岁山”。明初，朝廷在景山堆煤，以防元朝残部围困北京引起燃料短缺。因此该山又称“煤山”。

清顺治八年（1651年），万岁山改称为景山。乾隆年间在山前修建了绮望楼，依山就势在山上建筑五方佛亭。中心建有万春亭，东侧依次建有观妙亭和周赏亭，西侧依次建辑芳亭和富览亭。在山后重修寿皇殿建筑群。