乌尔姆市立剧院并不是一座大剧院。应付小歌剧时，乐队只排出17人的编制，就是正式的歌剧，乐队也只是在此基础上增加4人。舞台比一个大房间大不了多少。设施简陋，人手不足，卡拉扬要参与歌剧制作的方方面面，甚至要自己去拉帷幕。但此正是用武之地，而多年之后，卡拉扬还是非常怀念这段日子，认为乌尔姆正是自己成长的好地方。

到任后的卡拉扬，稍事适应后立刻着手工作。他并没让人失望，3月2日就制作了他自己平生的第一部歌剧：莫扎特的《费加罗的婚礼》。在乌尔姆这个小舞台上，他能上演瓦格纳的纽伦堡的名歌手，一年间他可以为当地观众上演六部不同的歌剧，并且为下一年研习另外六部。当然，他也会举办音乐会，甚至在莫扎特d小调钢琴协奏曲中弹上一曲。夏天，他会回到家乡演出，例如在1929年4月19日，他就另在萨尔茨堡节庆剧院里指挥了理查·施特劳斯的独幕歌剧《莎乐美》。另外他也会到音乐节协助排练。在音乐节那里，卡拉扬受到双重洗礼：在歌剧制作方面，麦西·雷恩哈德（Max Reinhardt）为他展示了舞台的魅力。而托斯卡尼尼，则让卡拉扬知道了，不同的音乐处理，能让同样的音乐产生出如何不同的效果。托氏的魅力对卡拉扬来说是没法可挡的。只要托斯卡尼尼来欧洲登台或是排练，卡拉扬只要能到（比如从萨尔茨堡骑自行车越250里到拜鲁伊特），他都会一课不缺地次次捧场^[8]。

在1929年，卡拉扬接受母校莫扎特音乐学院邀请，担任其国际基金会夏季课程指导。而在乌尔姆方面，虽然其条件像上面说到的受到限制，但卡拉扬还是忠心地留在那里。因为当时德国正一步步陷入危机之中，失业率高踞，卡拉扬当时不见得有多大希望在乌尔姆之外的地方觅得新任。可是，在乌尔姆5年之后，卡拉扬还是离开了乌尔姆，并不是完全出于他的自愿，而是剧院解雇了他。经理解雇他的理由很耐人寻味，他认为卡拉扬龙非池中物，长久的被锁在乌尔姆并不能让他进一步有所成：

长远来看，卡拉扬确实应感谢剧院经理这一猛烈举措。但短期来看，失业却是很可怕的，这意味着当时25岁的卡拉扬流落街头，就业机会渺茫，在新的工作岗位被发现之前，他要渡过多个半饥的无眠之夜。