早在日本宽文六年（1666年）冈山当地声望卓著的藩主池田光政，为了选择自家的墓地，令津田永忠主持，在风景秀丽的和气郡木谷村（后名闲谷村）建了一所学校。过了四年，津田永忠看到这里山清水秀，取其“山水清闲宜读书讲学之地”，遂命名为闲谷学校。

    其实在此前两年，当地藩主已把这里当作国学。以此为基地对百姓进行教育。宽文十二年，池田隐居后，交由津田永忠专力经营。在学校前建了圣堂，还有讲堂、学房、领室以及文库等。此后不久，曾一度衰颓，又曾遭火灾，一些书籍、器具被焚烧损毁。于是便转变方向为庶民教育。

    天和二年（1682年）池田光政临终前，向津田永忠留下将闲谷学校永远办下去的遗言。于是津田永忠辅佐藩主纲政在这里办起了庶民教育。不久，扩大土地，购买山林，建成一个下作（普通百姓）也能在此受教育的庶民学校。

    贞亨元年（1682年）新建了圣堂，又新筑了芳烈祠和修整了石塀。两年后，首次在这里对孔子举行释奠典礼。

    到了元禄十四年（1701年）孔子圣像铸造成功，讲堂等处大力改建，大成殿上又新葺了琉璃瓦，窗上装饰了美丽的花纹，整个学校焕然一新。除讲堂正面教师端坐讲学外，其旁有学员学习的习芸斋，临时休息的小斋，学生们起居的地方，参观者休息的地方。又重新修建了石塀、石门，圣堂正面的校门（鹤鸣门），西面的饮室门，还修筑了池田光政的坟墓等。

    1707年津田永忠死去，闲谷学校也跟着衰微下来。宝历十三年（1763年）再度兴盛。此后时盛时衰，到了文化十七年（1813年）请来著名教授到此授课，名声大振，也吸取许多学者、名人来访。此时绘成了《闲谷学校图卷记》，不久又建了黄叶亭。这里既有名师，又有美景，可以与东京的昌平黉并驾齐驱。

    明治三年（1810年）天皇改变闭关锁国政策，在儒者山田方谷的带领下，“闲谷精舍”再兴。十年，方谷死去，又一度衰落。七年后冈山藩土西微山建的“闲谷黉”再兴，以后不断发展为中等学校、高等学校，陆续培养了不少的人才。

    1938年这里的讲堂、圣庙、石塀等被指定为国宝。1950年，又将一些“国宝”改为“重要文化财”。至今为止，这里命名的“特别史迹”：旧闲谷学校。（附：椿山、石门、津田永忠宅迹及黄叶亭），“国宝”：旧闲谷学校讲堂1栋（附：延宝二年的壁书一枚，元禄十三年（1700年）讲堂上的丸瓦一枚。“重要文化财”：旧闲谷学校5栋（含讲堂、小斋文库），旧闲谷学校圣庙11栋（含大成殿及圣龛、中庭、文库、石阶等）。

    闲谷神社（含本殿即芳烈祠、科殿、神库、练屏等）旧闲谷学校石塀一栋。1965年日本政府将这里命名为青少年教育基地。至今来此参观者连续不断，来此受教育者络绎不绝。

    闲谷学校正门名鹤鸣门，此门轻易不开，只在祭礼大典或重要人物来时才开启，木制大门，门扉很重，开门、关门时都发出一些音响如鹤鸣之声。便美其名为鹤鸣门。门为三间，楹柱隔分，一门二窗，顶为两重飞檐，上葺备前烧的黄硫璃瓦。木制的门上饰许多花纹，中间有“闲谷学校”横匾。门前有三层台阶。由门内望，直见圣庙院。门前立一石柱，上刻“名胜天然地纪念保存法，大正十一年三月内务大臣拟定”。其右刻“闲谷学校。附椿山石门津田永忠宅及黄叶亭”。

    鹤鸣门前的泮池宽仅7m，但却长100m，光洁恬静的石桥。池之两岸，灌木丛生，群鸭戏水，显得分外清新。

沿鹤鸣门左右延长为元禄十四年（1701年）造的石塀。围校而筑，长达765m，由无数大块石头巧妙地组合而成。石均为火成岩，显现出各种颜色。又显得厚重、古朴，亦不失为一道风景线。

    进入大门，在宽大的院落后，正对圣庙院，走近前去拾级而上，步步登高，渐入佳境。当您登上十九级台阶后，便进入圣庙外门。此门仿照中国建筑形式，院内正中为大成殿，殿西有厨、文章，再往北有系牲石。

    大成殿建于贞享元年（1684年），共三间。殿前有两庑，两庑前为中庭。形制虽同中国，但规模特小。如殿前两庑之间的距离不过一、两步。殿内中间一座木制神龛，内供孔子像。像高136cm，宽80cm，为锻铜制成，呈金黄色。系由古代硕儒中村惕斋慎密考证后，于元禄十四年（1701年）铸造，宝永四年（1707年）安置。

    孔子形象为帝王式，头戴冕旒，身着章服，其座位亦为龙椅。椅背上探出两个龙头。威严、华丽，又显得十分神圣。殿内上方为格棂木天花板，下面地面皆作六角龟背状，仔细看，很有中国古代“河图”、“洛书”的味道。所有六角皆凸起，纯白色，人在上面走动不便，其实用意就是不让人们在室内随意走动。

    圣庙门外东西有两株粗大的楷树。树干挺拔，枝繁叶茂，亦为对孔子崇敬的白泽美博士由中国采集来树种培育而成。当年孔子的弟子子贡在老师死后，在墓前植楷树，结庐守墓，传为佳话。此处植此二树，亦有尊师重道之意。

    一到深秋，却出现另一番景色：原来两株绿葱葱的树叶，东树变黄，西树变红，远远望去，眼前突然显出两朵十几米见方的大红花、大黄花，为此当地有一番轶闻：孔子是最有学问的人，人们来参拜他，就是求取学问，孔子把学问的灵气洒到黄色或红色的楷树叶上，人们到此拿走树叶，便是拿走学问，以致一些青年学生多远道来拜孔求叶，有的父母替子女来求“学问”，熙熙攘攘，热闹异常。

    与圣庙平行靠东的一组建筑是闲谷神社，也叫芳烈词。里面供奉的是学校创建者池田光政的灵位。从十三级石阶上进入大门，院内亦有拜殿、本殿、神库、系牲石等。其东面为学校的外墙，有练塀围绕。

    学校内另一重要建筑就是讲堂了。讲堂是闲谷学校的中心建筑物。桁行7间，梁间6间，重檐翘角，木棂格扇。室内分外洁净，听讲者席地而坐。

    堂之正中上面高悬“克明德”三个猷劲的大字。取《尚书·尧典》“克明俊德”句，为学习应从修德开始之意。其旁悬中国宋代大儒朱熹制定的《白鹿洞书院学规》。由当地藩主池田纲政署名，足证此处以中国培养儒生的办法来教育学生。

    壁上悬挂的木牌中写一“定”字，延宝二年（1774年）藩主伊豫向学生作出的几种明确规定：一、学生必须讲礼仪；二、因在山林中学习，不许随意砍伐森林；三、学校分配的任务，应该努力完成。讲堂旁有习芸斋，为学生复习功课之所。

    在一幅文政二年（1819年）绘制的学校图中，对学生学习及生活的条件，如学房、校厨、食堂、仓米、客舍、役人住屋等共二、三十间的规则都作了详细的规定。可见其规模之大。

    闲谷学校作为一个儒学教育基地，有许多学规。有的相当严格和具体。

    学规中规定：凡来此学习者，交上不多的学费，准备下必要的文具，便可入学。在所学课程中，必修的有《孝经》、小学、四书、五经。继续深造者有《左传》、《国语》、《史记》、《汉书》等。

    所培养的学生在“孝、悌、忠、信”的前提下，有的学习农业知识，有的学业习经商之道。水平高的学生再学习作文、写诗。每月初一讲《白鹿洞揭示》，每月初二诗会，十五文会。平时每星期一至六由教授讲课。除学习知识外，还单独抽出时间来令学生们练字。每年对孔子的释奠典礼，学生们都要按时参加。

    学校南面一公里处有两根石柱，组成一道石门。原高一丈三尺五寸，今已大半埋没，只留半截立于地上。不远处还有椿山、津田永忠宅跡。东面还有建于文化10年（1813年）的黄叶亭。此亭临水而建，四周围以茂林修竹，草顶木架，自然风味甚浓。

    当年诸生在此饮宴后书制柱联为：“白支黄叶、何羡人世文繍；松籁石泉，常闻天然管弦。”“一咏一觞，每乘诵弦之间；某邱某水，俱领仁智之乐。”这一景观，又自然地和孔子与儒家联系起来了。