1908年4月5日是一个晴朗的星期天，恩斯特夫妇再获一子，取名为赫里伯特（Heribert Ritter von Karajan），即是后来的赫伯特。萨尔茨堡是一个有着浓郁音乐气息的城市，莫扎特的故乡，每年有名的萨尔茨堡音乐节就在此拉开帷幕。卡拉扬一家非常热爱音乐。父亲恩斯特会弹钢琴，演奏单簧管，还经常参加莫扎特音乐学院乐团和萨尔茨堡州立剧院的各种活动。城里的音乐家都很乐意和这一家子来往。父亲除了带孩子上交响音乐会外，还时常在家里举办小型的音乐会。不难理解，兄弟两人很早就接受钢琴训练，年长的沃尔夫冈首先学习音乐，到了1912年，赫伯特4岁时，也开始跟随弗兰兹·列德文卡学习钢琴。他从8岁起就在萨尔茨堡莫扎特音乐学院学习基础，为时10年。这音乐教育是多方面的，除了继续跟随弗兰兹·列德文卡学习钢琴外，他还在萨尔茨堡的教堂唱诗班中参加合唱，另外更是师从弗兰兹·绍尔学习和声。值得一提的是卡拉扬作曲和室内乐的老师博尔哈德·包恩伽特勒（Bernhard Paumgartner），他很快就发现了卡拉扬身上的潜能，并对之显示出父亲般的关怀。卡拉扬经常驶着老师的军用摩托车在郊野狂飙。包恩伽特勒不但诱发了卡拉扬对绘画和雕塑的兴趣，也正是他鼓励卡拉扬后来走上指挥道路。

其实，两位家长才是赫伯特最重要的老师。在卡拉扬的家里，儿子们要用“您”（德语：Sie，是德语中的敬称）称呼家长。恩斯特是一位严谨的人。他每天步行25分钟上班，在路上将快要进行的手术通盘琢磨。这种作风无疑也深深地影响着日后的赫伯特，让他养成事事做足准备的习惯。母亲则是一位乐善好施的好人。卡拉扬12岁时，一次他在爬楼梯的时候失足，从20米高处堕下，脚部关节和脊椎受伤，后遗终身，母亲马塔对之的关怀照料令人动容^[6]。

据卡拉扬的自述，他曾因自己在钢琴方面的早熟，被人称为“神童”，不过他从没为这一称号而去耗费力气。经过5年的钢琴课，卡拉扬终于在1917年1月27日第一次以钢琴家身份在莫扎特纪念日里登台演出。两年之后的1月26日，他在老师包恩伽特勒的指挥伴奏下，以独奏家身份演奏协奏曲。