卡拉扬的祖先来自马其顿，他们起初名为“卡拉约安内斯”（Karajoannes）或“卡拉扬尼斯”（Karajannis）。17世纪时，家族中一名为乔治·约翰的青年离开家乡先是迁至奥地利维也纳，立脚不稳，继而前往克姆尼茨（Chemnitz）。在那里他和兄弟合作从事纺织，大有成就。

数年之后，两兄弟分开，乔治返回维也纳并于1813年逝世。他的一个儿子名为希奥多·冯·卡拉扬，是一位在历史学，语言学和政治方面颇有影响的人物。他和格林兄弟是好朋友，而且还在那个欧洲的多事之秋—1848年参加过法兰克福国民议会。另外，这位教授有着良好的艺术鉴赏力。

而他的儿子，也就是指挥家的爷爷，名为路德维希·玛丽亚，是一位医生。当他在1906年逝世的时候，其子恩斯特已经接过父亲的衣钵，开始转到萨尔茨堡行医。恩斯特在1905年与比他年轻13岁的马塔结婚，并于1906年7月21日生下长子沃尔夫冈（Wolfgang von Karajan）^[5]。

而家族中人的名与姓之间多插的一个“冯”字（von）是家族两次被册封为准男爵的结果。第一次是在1792年6月1日德国克姆尼茨，当时霍亨索伦王朝的腓特烈·奥古斯都三世因乔治兄弟在纺织业上所做出的成就而授予了他们爵位。第二次则是在奥地利，哈布斯堡皇朝为了表彰卡拉扬家族对帝国健康事业所做出的贡献而给家族再戴头衔。