上世纪中叶，平遥古城总工会，工人俱乐部设立庙中，以乐楼为中心，当作广大群众集会的场所。尽管牌坊、山门被拆除，殿宇的装修被改制，珍贵的古乐楼也于1977年惨遭“文革”遗风的袭击被一扫而光，但城隍庙虽显凋敝而未觉凄凉。

当时，工人俱乐部赋予古庙以新的文化内涵，如同广场一般的庙院里，响起了人民当家做主的新时代主旋律。老槐树下，古殿堂前，整天有人娱乐消遣。棋逢对手时的拼搏，舞伴们的陶醉，青年人的球戏，老年人的说古，与阅览室的读者们互不干扰，构成了一幅有动有静、各得其所的娱乐场景。

一度时期，城隍庙成了平遥古城内的一片浪漫空间。