平遥文庙的明伦堂和尊经阁之间，有左右两个小院，名日“超山书院”，创建于清道光二十四年（1844年）。

平遥县在明代嘉靖年以前还没有书院，只有设在文庙的县学，又称之为“庙学”。平遥的庙学就历史久远了。明成化十一年（1475年）版《山西通志》收有易州教授伶思贤（江西豫章人）撰写的一篇碑文《平遥县重修庙学记》，记述了元大德二年（1298年）重修庙学的全过程，当时的县尹王翼甫、达鲁花赤（元代监印官称）完颜大帖木儿、主簿郑继善等都带头捐俸银以资倡修。“又拨境内闲田以为赡给之费”。说明当时的庙学是以次等农田为经济支撑的。

这次对庙学既属“重修”，那么平遥的庙学必然可再向前追溯。元代以前，平遥地处金朝统治范围，《金史·章宗本纪》载：泰和四年（1204年）“诏刺史、州、郡无宣圣庙学者，并增修之”。说明平遥庙学起码在这个时期就创修了。当然，平遥设立“县学”就更早了。

明嘉靖初年，巡按侍御史沈俊（合肥人）受皇命巡视山西，由山西行省按察佥事分巡道谷高（河南人）、提学副使周宣（莆田人）奉陪到平遥视察，拜谒尹吉甫祠堂时，建议创修书院，选址在尹公祠，因尹吉甫祠早在宋徽宗宣和年间曾由县令李说更名为“周卿士庙”，就定名为“卿士书院”，并恭请沈御史亲题书院匾额。由知县石钰主持修建，随即延师开学。嘉靖十年（1531年），曾受教于卿士书院的学生雷洁得中辛卯科举人。时任知县陈谠、教谕傅良弼、训导刘崇仁为其在卿士书院立石牌坊，上书“禹门世奋”，并于嘉靖十三年（1534年）重修尹吉甫祠。但卿士书院在明末天灾战乱中逐渐衰落了。