它最早建于汉献帝建安年间（196 －220 ），古称观音院，南宋为永安院，金代名柏林禅院，自元代起即称柏林禅寺。

在漫长的历史长河中，这座古刹虽几经兴衰，却仍然香火绵延，高僧辈出。据僧传记载，著名的译经大师玄奘法师在西行印度取经之前，曾来此从道深法师研习《成实论》。晚唐时，禅宗巨匠从谂禅师（赵州和尚）在此驻锡四十年，大行法化，形成影响深远的“赵州门风”，柏林禅寺因此成为中国禅宗史上的一座重要祖庭。

金代，这里一度改为律律宗道场，曾有五代律宗大德在此弘扬戒律达五十年。最有名的是诠宗律师。金朝末年，法传临济正宗的归云志宣禅师主持法席，柏林禅寺由此革律为禅，宗风大振；归云禅师平生主持七所名刹，望重当时，北京西郊潭拓寺尚存其舍利塔；元代，这里先后有圆明月溪禅师、 鲁云行兴禅师行化，柏林禅寺由兹气象恢宏，成为燕燕赵一带的佛教中心；明清两朝，中央朝廷管理赵州地区佛教事务的机构——僧正司设在柏林禅寺。当时柏林禅寺的住持往往同时兼任僧正司僧正。近百年来，柏林禅寺却屡遭劫难，到1988 年这里重新进驻僧人时，殿堂、 经像已经荡然无存，只有赵州禅师舍利塔及二十余株唐朝古柏，依然挺拔屹立，告诉世人这里曾是一处佛教古刹。