香严寺又称香严院，俗称鸽子寺。据载，始建于唐贞观十三年(639年)，唐德宗贞元年间(785-805年)赐名香严寺。金、元、明、清及民国年间均有修葺。现存大雄宝殿为金代建筑，东配殿为宋代建筑，天王殿、毗卢殿、十王殿、慈氏殿、毗卢殿、观音殿六座建筑为元代所建，钟鼓楼、崇宁殿、藏经殿为明代建筑。寺后原有万佛宝塔，建于元中统年间（l260一1264），时称千佛宝塔，塔径五米，平面呈六角形，实心砌体、分三层，每层周布满小券洞，置佛像。明景泰三年（1450）重修寺后千佛塔，并改称万佛宝塔。1938年10月，日军侵占柳林，将万佛塔拆毁改建为碉堡。从此，万佛塔无存。2001年6月25曰，香严寺被国务院公布为第五批全国重点文物保护单位。

    寺院坐北朝南，东、西、南三面临崖，由东西向并列的两座院落组成，占地面积6160平方米。东院中轴线上建有山门、大雄宝殿、毗卢殿;两侧为钟、鼓楼、东配殿、伽蓝殿、观音殿、十王殿、慈氏殿。西院中轴线上依次为藏经殿、崇宁殿;两侧为膳房、僧房等。相传寺内有三件宝，即铁杆蒿梁、风磨铜佛像和山门鸽子。风磨铜佛高约一米左右，存於正殿，只要见生锈可搬至院内，见风复生光辉，金色如新。民国初年(一九一二年)，古董商买价二千白洋，寺僧惜其珍贵，收藏入柜，秘不见人，现已不知所踪。铁杆蒿梁，大约三丈多，粗约二十五厘米，横七竖八置於正殿梁间，属古今罕见奇木，文革时某领导拆回家中做了家具。

     天王殿面阔三间，进深四椽，悬山顶，前后檐下用四铺作单下昂斗拱，补间各一朵，内部梁架用三椽栿对前劄牵，平面成长方形，坐北面南。梁架结构为元代风格，斗拱及其他瓦作小木作为清代风格。天王殿又称弥勒殿，是寺院第一重殿，殿内正中供奉中面朝山门的笑口常开大肚弥勒佛塑像，两侧为四大天王塑像，弥勒佛背面塑韦陀天，背对山门面朝大雄宝殿，塑像为现代新作。据大清宣统三年《重修天王殿碑记》记载可知在清宣统三年(公元1911年)进行了大规模的修缮。

   天王殿东西两侧建有钟鼓楼，为明代建筑。钟鼓楼为十二根角柱和四根通天大柱支撑的十字重檐歇山顶木作结构。

大雄宝殿为寺内主殿，金代遗构。立于高4米的双重台基之上，面阔五间，进深六椽，前出廊，有月台，悬山顶。前檐用五铺作单抄单下昂斗拱，补间各一朵，均为假昂。内部梁架砍凿规整，四椽栿对前后劄牵，四椽栿上再用驼峰和栌斗撑托平梁，平梁上设蜀柱，其上再用栌斗和 丁华抹颏拱固定叉手，各缝有托脚。大殿平面采用减柱造，仅施两后内柱，后代维修时又增加两辅柱，柱间用内额和由额相连接。内柱铺作用单抄式，向外出华拱一跳承替木于下平槫，向内出压跳。殿前廊下元、明时期碑记记载，元明时期对大雄宝殿进行过维修，但未对梁架结构改动过。明代宣德九年（1434）重修香严寺碑记记载，明代大修仅仅修补了琉璃瓦顶、檩木、粉桩神像工程。

  廊前有明代宣德（1434年）九年，明代天顺元年（1457年），元代大德二年（1298年）修葺大雄宝殿碑记。

明代天顺元年（1457年）三月由香严院僧众和附近信徒捐资建造石经幢。

　　殿内由一百零八块砖雕砌筑而成的长三十二米的佛龛台，雕刻有龙凤、人物、花鸟等各种图案，其雕刻技艺是中国现存为数不多、保存完整的砖雕艺术珍品。 据殿前廊下元代大德二年（1298）碑刻记载“且夫至圣既没微言、殆绝邦风□扇诸圣星驰哀哉化  为醨，大羲于大乘矣，杭金争氎分河于是饮矣，備举三乘，闻张演布俊诸学者……晋公□□演秘大师满院法老同心合意于大殿内砌造龙凤花锦供床并法眷院额，僧名开列于后………。元大德二年岁次戊成八月辛酉三十日甲申，”碑文记录，“龙风花锦供床”即是砖雕佛龛台。证明大雄宝殿砖雕为元代遗物。