相传在春秋末年，孔子周游列国传播儒家学说，率众弟子“去曹适宋”，路过芒砀山主峰西侧的一道山岭前，突然天降大雨，急切间到山间一天然崖洞避雨。等雨过天晴，孔子派弟子在崖前晒书，并且在山坡上大杏树下开坛讲学。二千多年来，此“夫子避雨处”成为孔子传道的圣迹，一直保留至今，当地人把这座山叫作“夫子山”，把这片崖叫“夫子崖”，山前的村庄叫“夫子崖村”。唐朝时，当地人雕刻的孔子避雨石像，至今仍安座在夫子崖内。宋朝时，当地人在崖前山坡上建起了文庙，大殿内圣像俨然，厢房中贤人逼真，庙院中古柏参天，石碑林立。其中最耀眼的当数清代县令周正纪撰写的《夫子崖碑记》和六十七代衍圣公孔毓圻、七十一代衍圣公孔昭焕为先祖撰文而立的三道石碑。
    文庙。
     孔子避雨处。
    清代县令周正纪撰写的《夫子崖碑记》和六十七代衍圣公孔毓圻、七十一代衍圣公孔昭焕为先祖撰文而立的三道石碑。
    三块石碑后面的二层房子里供奉着观音菩萨。她和文庙和谐共处着。