据县志记载，高阁寺原是建在宋朝州廨内的飞仙台上。宋朝韩赟治相州时，曾扩建州廨。宋仁宗至和年间，魏公韩琦（就是老五中旁边韩王庙以及昼锦堂的主人）治相州时，益作亭堂园池。规模宏大，建筑壮观，曾有“雄于河北”之美誉。明成祖永乐二年（公元1404年），明成祖第二子朱高燧封赵王。《明史》记载：“朱高燧恃宠，多不法，又与汉王高熙（明成祖之次子--笔者注）谋夺嫡，时时谮太子。”因此，几乎被明成祖杀掉。由于皇太子（即后之明英宗）力保方得幸免。明仁宗即位后，才将高燧封到彰德（安阳），俸禄二万石。是年（公元1425年），以彰德府署改建为王府。现仅存高阁寺为其旧迹。 

    高阁寺，是明赵王府旌教祠中最后一座殿。今存高阁寺乃明宪宗成化六年（公元1470年）重建，清朝乾隆和光绪年间，曾加重修。解放后也曾两次加以整修。高阁寺通高20余米，为高台楼阁式建筑，重檐歇山式，琉璃瓦顶，台基高约8米。南面为正面，设石阶32级，拾级而上，可登台上阁楼。石阶两边及承台周围，均有石狮、石柱、石板护拦。底基约有一米高的石浮雕装饰，每面八条龙，相互对称。只是，随着岁月的流逝和风雨的侵蚀，北侧的石雕已经被剥落的几乎看不出来原来的面目了。其上还刻有印度梵文。这些浮雕和装饰，精心制作，形象逼真，尽管久经风雨侵蚀，但依然清晰可辨。

    阁的正面置阁扇门，进深、面阁各三间，皆为9米。明间和次间共用四根圆木通柱，直达阁顶四架梁下，框架结构坚实牢固。4根金柱直接承托上檐五架梁，斗拱较为复杂。脊拉牵上书“大明成化六年(1470年)岁次庚寅八月重建”，前金搭牵上书“大清光绪玖年岁在癸未六月重修”。而高阁寺梁架呈明代特征，斗拱和阁门为清代地方手法。结合题记可知高阁寺是一座重建于明，重修于清的古建筑。