1933年纳粹党上台，德国音乐人才急剧衰减。就在那一年，布努诺·华尔特，克伦佩勒，埃里希·克莱伯，弗里兹·布什被迫离开德国。有着犹太血统的作曲家作品被禁，孟德爾頌，马勒或是荀白克都在此列。而欣德米特的歌剧《画家马蒂斯》被禁，富特文格勒为此大闹纳粹，辞去了其身上所有的终身职务，以47岁的年纪暂时退休。

而在这些大事发生不久之后的1934年，卡拉扬得到了一个重要的职位—亚琛市立剧院音乐会指挥和歌剧总监。这个剧院比乌尔姆的高一个档次，乐团有70多人，合唱队300人，而且带领合唱队的正是日后扬名合唱界的威廉·匹兹（Wilhelm Pitz）。以这样的人员，卡拉扬迫不及待地上演了瓦格纳的《尼伯龙根的指环》。而阿琛也是卡拉扬到柏林和维也纳的跳板。1934年8月21日，他在私人晚会上首次与维也纳爱乐管弦乐团合作，演奏了德布西和拉威尔的作品。到了1935年4月12日，卡拉扬更是被任命为亚琛市立剧院音乐总监。卡拉扬以他当时27岁的年纪，成为了德国最年轻的音乐总监。但是，卡拉扬得作出一项妥协：加入纳粹党。

根据瓦尔特·莱格的评论，卡拉扬不谙政事，只要针不到肉，他也懒得去理政坛上的风风雨雨。而在乌尔姆时他就曾给人不关心政治时局的感觉^[9]。但1933年之后德国的形势和此时的饭碗问题，使得卡拉扬作出决定，成为纳粹党员，就是德语中所谓的“Pg”（德语Parteigenosse的简称）。

卡拉扬从不否认自己曾经是纳粹党成员。但是卡拉扬与纳粹党之间的关系，更确切地说是他的入党时间，带有历史的迷雾。之所以这样说是因为经后人发掘出来的证据与卡拉扬的自白之间有出入。根据一些战后纳粹留下来的文件，有人认为卡拉扬申请入党的时间是1933年4月8日^[10][11]。但卡拉扬却非常肯定地说，自己是在1935年才入党，并且以1933年的党证上并没有他的签名为理据进行反驳。当然，支持卡拉扬的声音是有的^[12][13][14]。卡拉扬对自己入党日期是于1935年所表现出的强硬态度，可能是要避免旁人对其入党动机所作出负面的猜测^[10]。

虽然当时德国在政治上极端压抑，第三帝国的文化生活却是非常丰富的。具有“党员”身份的艺术家，其工作条件非常优越。而纳粹党头头对艺术也显得十分阔绰。卡拉扬和富特文格勒一样，在帝国内不断地指挥音乐会。到了后来，卡拉扬在由赫尔曼·戈林掌管的柏林国家歌剧院（Staatsoper Unter den Linden）工作，后者给与了卡拉扬极大的自由度。

1937年6月1日，卡拉扬受布努诺·瓦尔特之邀，首次到维也纳国家歌剧院指挥，剧目是瓦格纳的《特里士坦与伊索尔德》。这是一场令人瞩目的胜利。但卡拉扬也领略到了维也纳歌剧院的艰难工作条件：大排练被取消，小排练里主角们唱两句就要离去办点私事。日后的1956到1964年，卡拉扬会更真切地体会到这些难处。而同在1937年，卡拉扬被邀请去指挥一支柏林的管弦乐团，但卡拉扬拒绝了，因为乐队不能给他任何时间去排练。不过很快，到了1938年，乐队就同意了卡拉扬的要求，先排练再演出。于是卡拉扬就在4月8日，首次和这支乐队合作，指挥了莫扎特《“哈夫纳”交响曲》（“Haffner”，亦即第35号交响曲），拉威尔第2号达夫妮与克劳伊组曲和勃拉姆斯的《第四交响曲》。而这支乐团，就是日后和卡拉扬合作35年的柏林爱乐乐团^[15]。

而在个人方面，卡拉扬在1938年7月26日与亚琛轻歌剧首席女歌手艾米·霍格罗夫结婚，两人在亚琛附近的树林里拥有一座房子。但是卡拉扬关注得更多的是其事业。而霍格罗夫与戈林夫人的友好关系帮助了卡拉扬进军柏林^[16]。1938年9月30日他得到了在柏林国家歌剧院指挥的机会，剧目是贝多芬的《费德里奥》。而到了10月21日，是卡拉扬的胜利时刻。他指挥的《特里士坦与伊索尔德》引起国际轰动。柏林音乐评论家范·德·努尔（van der Nuell）称之为“卡拉扬奇跡”（das Wunder Karajan），非但如此，他还添油加醋地写上，“一些老指挥家”应该向这位年轻人学习一点什么。这里的“老指挥家”很明显就是针对富特文格勒。这“神奇的卡拉扬”称号和挑衅的口吻引来了富特文格勒的抗议，并且成为了富特文格勒与卡拉扬长时间对立的开端。后来在富特文格勒非纳粹化过程中一些资料除尘，指出范·德·努尔只是为当时纳粹中反富特文格勒阵营所迫，而写出这种评论的^[17]。

不管有没有范·德·努尔的评论，卡拉扬开始在柏林扬名。虽然他被富特文格勒掌管下的柏林爱乐拒之门外，但是卡拉扬还是成功在柏林立足，他在1939年11月同时接受了柏林国家歌剧院乐队长和普鲁士国家乐团音乐会指导两职。他还在1940年2月18日于理查·施特劳斯面前上演了其歌剧《埃莱克特拉》，并得到作曲家的首肯^[18]。卡拉扬也到过被占领的巴黎演出瓦格纳的作品^[19]。而且其录音生涯也即将开始，他与德国唱片公司签下第一份合约,期至1943年。卡拉扬的第一个正式录音，是指挥柏林国立乐团演绎莫扎特的魔笛序曲^[20]（这些早期录音为DG公司近期结集发行^[21]）。移师柏林后，卡拉扬和霍格罗夫之间不稳定的夫妻关系最终破裂。不过很快到了1942年，卡拉扬便与另一位女士安妮塔·居特曼（Anita Gütermann）结婚。而新婚10天后，卡拉扬宣告退党，这可能与其新妻祖父是犹太人有关。碰巧的是，卡拉扬亚琛和柏林两地的合约过期。这一退党举动使卡拉扬又一次失业，成为政府和纳粹眼中的Persona non grata（拉丁语：不受欢迎的人物）。希特勒曾因卡拉扬一次《纽伦堡的名歌手》的败演而极其不满^[22]，加上他认为富特文格勒是指挥界唯一的国际巨星^[23]。所以综合起来，只要纳粹一日当政，卡拉扬就毫无就业的希望。比如当卡尔·伯姆（Karl Böhm）离开德雷斯顿歌剧院时，卡拉扬的续任申请竟然是被希特勒本人的命令所驳回^[24]。