崇安寺始建于何时，已不可考。当地俗语有“先有崇安，后有陵川”，可见其年代久远。此地为什么叫做陵川？有一种说法是后赵皇帝石勒死后，其皇陵选在崇安寺旁。后来这里发展为县城，就称为陵川。如此说来，崇安寺的历史，确实要先于陵川。

  崇安寺古有“凌烟寺”之称，唐初改名“丈八佛寺”，宋太平兴国元年（976年）敕命为“崇安寺”。历经重修和扩建，崇安寺现存主要建筑为明清时期所建，也有部分保留着宋金原作。拾级而上，来到崇安寺寺门，与一般的寺庙相比，崇安寺的山门与众不同，是一座二层三重檐的楼阁式建筑——古陵楼。
  崇安寺坐北朝南，为二进院落，从古陵楼由前往后依次是过殿和大雄宝殿，此外，寺内东西两侧均有廊房插花楼排列，东侧一处已毁，山门两侧则是钟、鼓二楼。整个院落开阔宽敞，错落有致，殿宇看去极其壮美。古陵楼楼面宽五间，进深六架椽，平面形制为长方形，屋顶为重檐歇山式。在楼正面，记者看到写有“行山钟秀”的牌匾高高悬挂楼前，背面则是“留月栖云”字样，颇为壮观。
  前院过殿也叫当央殿，座落于丹墀之上，殿面宽五间，进深六架椽。单檐歇山顶，琉璃剪边，殿内供奉着华严三圣。正中毗卢遮那佛，左为骑着青狮的文殊菩萨，代表大智。右为坐着六牙白象的普贤菩萨，代表大行。背后是大慈大悲的观音菩萨，两旁分别是善财和龙女。后墙两侧有地藏菩萨和大势至菩萨。东西山墙彩绘着观音救八难的大型壁画。
  第二院正殿为大雄宝殿，大雄宝殿规模宏大，气势非凡。殿面宽五间，进深八架椽，单檐山顶，琉璃剪边，于宏伟中见精巧。大雄宝殿门旁的石柱上两副楹联耐人寻味，其一：白云缭绕度苍松总是千般幻影；明月婆娑辉宝座传来一盏孤灯。其二：一念自能归正觉，万方谁得见如来。门枋上彩绘着18幅西游记的故事。殿内供奉着三座佛像，中间为释迦牟尼佛，左边为药师佛，右边为阿弥陀佛的金身坐像。东西两侧为16尊者塑像，神态各异，颇具动感。大雄宝殿后面还有一座佛龛，当地叫石佛殿，上书“开甘露门”，龛内沙石上雕刻着一佛四菩萨，亦有称一佛四弟子，据考证为隋唐所雕，是崇安寺最古老的佛像，是名副其实的稀世珍宝，虽经风霜剥蚀，仍栩栩如生。
  崇安寺从前往后，沿古陵楼、毗卢殿、大雄宝殿、石佛殿，地势依次降低，呈前高后低之势，但奇怪的是，这四重建筑却不在一条中轴线上。这与中国古代寺院建筑对称、圆满的讲究多有矛盾之处。一般而言，寺院内的藏经楼多为一座，而崇安寺却有两座，且居于寺院之中央，位于东西两侧，当地人称作“插花楼”，意思是新科状元所戴夸官的插花官帽。东插花楼毁于清代的一场大火。现存的西插花楼，为重檐楼阁式歇山顶，琉璃剪边，飞檐斗拱，构造精细，是寺内仅存的有金代遗风的建筑。加之“古陵楼”东面钟楼内的宋代铁钟悬挂于一层的奇怪之举，人们将之共称“三奇”，为崇安寺增添了神秘色彩。
  崇安寺立在高大的台基之上，座北朝南。
  崇安寺的布局很为奇怪，寺内最高规格的建筑是山门，其次是过殿，规格最低的反倒是大雄宝殿。
 “九龙壁”。
  山门面宽五间，高两层，重檐歇山顶。正面上层檐下挂有横匾，题曰“古陵楼”，此外还有“行山钟秀”四个大字。
 山门是明代改建的，但大门的青石门框，却是宋代的。因为门框上还刻有“嘉佑辛丑六月三日”等字样。门前的一对狮子已经破损，但风姿依旧，像是旧物。

  北面檐下，也有四个大字，题曰“留月栖云”。
 角门
 
    前院过殿也叫当央殿，座落于丹墀之上，殿面宽五间，进深六架椽。

  寺院内的藏经楼多为一座，而崇安寺却有两座，且居于寺院之中央，位于东西两侧，当地人称作“插花楼”，意思是新科状元所戴夸官的插花官帽。东插花楼毁于清代的一场大火。现存的西插花楼，为重檐楼阁式歇山顶，琉璃剪边，飞檐斗拱，构造精细，是寺内仅存的有金代遗风的建筑。
 门枋上彩绘着18幅西游记的故事

 大殿面阔五间，单檐悬山顶。殿内正在做功课，参加念经的还有许多居士。木鱼磬钟和颂经之声，回荡殿中，气氛庄严肃穆，乃是和谐之音也。
   

  钟鼓两楼位于山门两侧，均为重檐歇山顶，彩色琉璃剪边。钟楼檐下有横匾，题曰“晨钟”。楼内悬有铸于宋徽宗崇宁元年的大铁钟铁钟。大钟高198公分，直径164公分，钟上铸有文字和方格纹，是目前现存最大的一个铁钟。传说钟声传播可达三十余。里鼓楼檐下的横匾题曰“暮鼓”。楼内原悬有大鼓一面，但在清代已经被毁。
 
 

 所有斗棋的蚂蚱头上，多刻龙头、象鼻，体现了明清建筑的重要特征。