北响堂有座塔，人称常乐寺塔（有称长乐寺）。没有文献资料佐证大家都这么称呼的。常乐寺塔建筑年代，根据形制大约是宋代。常乐寺已经荒废多年，荒废于何时不得而知。长乐寺约始建于北齐。现存常乐寺内有金正隆四年碑刻《重修三世佛殿记》记载“……文宣常自邺都诣晋阳，往来山下，故起离宫，以备巡幸，于此山腹，见数百圣僧行道，遂开三石室，刻诸尊像，因建寺，初名石窟，后至天统间改智力，宋嘉祐复更为常乐寺……”。据说康熙版、乾隆版、民国版《武安县志》收入此碑碑文，乾隆版、民国版县志在寺观中记载“常乐寺在鼓山之麓，北齐高洋建，初名石窟寺，天统间改名智力寺，宋嘉祐中更为常乐寺，金皇统间重修，邑人胡礪有碑记”，说明山上石窟与寺庙为同期建造的。

常乐寺塔，八角九层阁楼式砖塔，塔高约36米，塔身边长4.27米，这个数据抄来的，可能不准确。这个塔没有塔基，高台覆盖，高台上直接是塔身，塔基可能被掩埋了。塔身的外立面装饰比较特殊，在中原地区比较少见，除了四个门的标准造型，另外四面是四个九级塔的造型，九级塔的塔心室里面还有佛像。首层塔身的高度很高，超过10米，其它每层塔檐高度都不及其三分之一，八面分别镶嵌九块石刻题记，是嘉靖年间的维修捐款人功德碑，该塔在明代做过大修。这个塔断代为宋塔，第七层有块石板题刻，是宋皇祐六年（1054），这是常乐寺塔最早的石刻，表明砖塔的宋塔身份。