嘉定山原名大山，绵延8座山头，主峰海拔112米。山形似塔，植被条件一般。因山上长期有草无林，习称“光头山”。据《史记》记载，嘉定山为明代“塔山墩堡”。清乾隆年间建村，为祈求兴旺发达改名达山，民国以后化为大山。1935年青岛工务局编制的《青岛大都市发展计划》，大山列为园林区，曾在山上种植大片树木。由于战乱山林遭砍伐。至建国前山上树木几乎光秃，水土流失严重。20世纪60年代，山下建成嘉定路，取名嘉定山。

建国后，20世纪50年代中期开始植树造林，遍植黑松、刺槐，植被条件有所改善。1984年，市政府决定封山植树建园。由铁道部四方机车车辆工厂与青岛化工设计院根据市园林局的规划方案设计；由铁道部四方机车车辆工厂、北海船厂、中国人民解放军四四〇六工厂、黄海水产研究所、山东省海水养殖研究所、市化工石油工业公司、市交通局与市环保局集资承建，同年3月开工。青岛纺织工学院、化工学院义务植树2.8万株。1986年7月6日，经青岛市人民政府命名为“嘉定山公园”。同年11月建成开放。