香山寺创建于东汉，为大悲观音菩萨证道之所。香山寺大悲观音大士塔居香山寺正中，始建年代不详，唐代寺塔并存，公元1068年宋神宗敕赐重建，为八角九级阁楼式密檐砖塔。塔高33米，塔底层为红石垒砌而成。塔身第二、三层有壁龛数百，其余各层均为素面平砌而成，六、七、八、九层外壁辟拱券门，四层辟壶门，每层均用叠涩出檐，檐上又砌平座，突出塔壁，每层高度递减，成八棱锥体，每个转角处都有角梁。

    塔尖有塔刹，刹下为覆盆，中部为宝珠，上有相轮，塔刹精巧玲珑，十分别致。为平顶山境内独有的宋塔，造型朴实大方，巍峨浑雄，有较高的历史艺术价值。

    据传，楚庄王之三女妙善出家于白雀寺，修行正果地香山寺，称大悲观音菩萨，葬舍利于塔下。香山寺唐代寺塔并存，宋、元、明、清各代均有修建，规模宏伟。  

    香山寺内现存宋至清代碑刻15通。其中,由北宋通议大夫、开国公蒋之奇撰文，翰林学士承旨、上柱国蔡京书丹的《香山大悲菩萨传》碑，与金代《重建香山观音禅院记》碑以及明代《重修香山观音大士塔碑记》碑等碑刻的记述内容和书法艺术，在国内外佛学界和书法界影响较大，倍受世人瞩目，为我国观音文化起源提供了详实的实物依据。

    2013年， 香山寺大悲观音大士塔及碑刻被国务院公布为第七批全国重点文物保护单位。