淮北市源远流长，早在7000年前新石器早期，人类就在此繁衍生息。约4000年前原始社会末期，中国“上古五帝”之一的颛顼在现淮北市市府所在地相山建城。公元前二十一世纪，商汤十一世祖相土曾迁都于此，相山、相城由此得名。春秋（公元前588-576年）时期，宋国共公为避水患，经睢阳迁都于相。战国时属楚国。

 秦始皇三十三年（公元前224年），置相县，属泗水郡，郡治相县。同时，置轾县（今濉溪临涣），属泗水郡。汉高帝四年（公元前203年），改泗水郡为沛郡，辖37县，治所在相县。汉武帝元狩六年（公元前117年），沛郡改称沛国。宣帝地节九年（公元前69年），曾改为彭城郡，黄龙元年（公元前49年）复称沛郡，并置竹县，属沛郡。三国（220-265年）时，相县初属沛国，后属汝阴郡。西晋（265-316年）时，复置沛国，国都在相县。南北朝（421-528年）初期，相县归刘宋，属徐州沛郡（郡治在萧县），不久相县、铚县相继入北魏。北齐天保七年（556年），废相县为相城乡，并入符离县。

 中华民国元年（1912年），市境分属安徽省宿县和江苏省萧县。1948年11月，市境解放。1949年6月，市境分属华东局皖北行政公署宿县和萧县。1953年2月，市境分属濉溪县和萧县。1960年4月，建立濉溪市。1971年4月，更为淮北市（因地处淮河北，与淮南相对，故名）。1977年2月，宿县地区所辖濉溪县划归淮北市管辖。

 淮北市的民间美术有剪纸、泥塑、扎花、刺绣等。地方戏曲当推淮北梆子戏、泗洲戏、花鼓戏、淮北琴书等。还有腰鼓、狮子舞、龙灯、竹马、旱船、大头舞等民间舞蹈。

 淮北市不仅历史悠久，山水秀丽，更是人杰地灵，名人辈出。春秋时期的政治家、军事家、秦相蹇叔，孔子七十二弟子颛孙子张，两汉之交的大哲学家、法学家桓潭，三国时期的“竹林七贤”、著名文学家、音乐家嵇康、刘伶，南北朝艺术家戴逵父子，“二十四孝子”蔡顺，古代神话传说中的“八仙”之一张果老，现代雕塑大师刘开渠等，都出生在这片热土。