但这些音乐方面的小成就似乎还不能让他的双亲立下心思，让年青的卡拉扬将来以音乐为生。母亲马塔总希望卡拉扬能当上一名银行职员。务实的父亲则曾劝他说：“我知道你有音乐方面的天份，但你总得学一些实用的技术来糊口。”为了顺从父亲的意愿，卡拉扬在1926年以毕业论文《热力学与内燃机》完成萨尔茨堡莫扎特音乐学院的学习后，即去了维也纳进入维也纳工业高校学习。不过他并没有离音乐而去，而是坚持学习，所以他在研修技术的同时，还在维也纳大学入读音乐科学系和在维也纳音乐与表演艺术学院学习。他在维也纳跟随新老师约瑟夫·霍夫曼学习钢琴，还同时向亚历山大·温德尔（Alexander Wunderer）和弗朗兹·绍克（Franz Schalk）第一次学习他日后的职业：指挥。年轻的卡拉扬当时具有一个钢琴演奏家的一切音乐才能。不过后来，一如罗伯特·舒曼，卡拉扬手指的腱鞘严重受伤，即使他本人作了一些荒诞的尝试以使之痊愈，也没见好转，这让他不得不在通往钢琴家的路上止步，而将之转到指挥的前途上。

亚历山大·温德尔在维也纳音乐生活中有一定的影响力，但作为老师，他就未必胜任。卡拉扬对指挥的知识主要不是来自于老师，而是职业实践本身。但卡拉扬在维也纳却学到了很重要的东西，歌剧剧目和更难得的—当时维也纳的顶尖歌剧表演：当时卡拉扬并没有什么机会指挥乐队进行实践，却和同学想到办法来打发时间。卡拉扬对此说道：

不过，卡拉扬话里的负面用词应不能被当真。维也纳国家歌剧院在20世纪20年代正值其黄金时代，人才辈出。当时欧洲老一辈的指挥大师都在该处献艺：弗兰兹·绍克，魏恩伽特纳，富特文格勒，克莱门斯·克劳斯，理查·斯特劳斯，托斯卡尼尼和布努诺·瓦尔特。而在演唱家列表中则赫然可见如下名字：洛特·莱曼（Lotte Lehmann），玛丽娅·耶里查（Maria Jeritza），理查·马（Richard Mayr），阿尔弗·耶格（Alfred Jerger）和伊丽莎白·雷特伯格（Elisabeth Rethberg）^[7]。

1928年12月17日，卡拉扬迎来了自己的第一次指挥登场，指挥学院乐队演奏罗西尼歌剧《威廉·退尔》的序曲。但是他可能意识到，当时毫无名气的他在维也纳很难找到工作，于是他决定回去萨尔茨堡一试。过了一个多月，为了展示自己的才能，这位年轻的指挥家在家乡作了自己的公开亮相，他延请并指挥了莫扎特音乐学院乐团，曲目是施特劳斯的《唐璜》和柴可夫斯基《第五交响曲》。演出很成功，并且，卡拉扬为自己赢得了机会—乌尔姆市立剧院的经理邀请他到自己的剧院试奏。经理在再听过卡拉扬的指挥后，决定聘任这位年轻人在剧院指挥歌剧，月薪约为20美元。当时卡拉扬跟经理说道，自己并未指挥过任何歌剧，要接受这工作他得先研究一下。经理回答得很简单：“没问题，你过来研究就行了。”于是，乌尔姆之职成为了卡拉扬指挥事业的正式起点。