日本史上最早的教育法规可追溯到公元701年（大宝元年）颁布的《大宝律令》。在该“律令”中专门列了“学令”一条，规定在中央设“大学寮”，各国（地方行政机构，级别相当于现在日本的“县”）设立“国学”，大学寮可以说是培养国家官吏的职业性机构，入学资格有严格限制，五品以上官吏的子弟可自由入学，六、七、八品以上官吏的子弟只有才华出众的才可以入学。

    而国学的招收对象主要是各地方的贵族子弟，如名额不满，可允许庶民子弟中确有才华的人入学学习。“大学寮”的教学内容以中国的“四书五经”等儒家经典为主，此外还加些文学及算术等。地方的“国学”除了这些内容外，还设有医学、药学等科目。

    由于庶民子弟很难进入官办的学校学习，各地还开设了一些私塾，招收那些没有经济条件的庶民子弟。私塾的教师主要由僧侣和从大陆移居日本的“归化人”来担任。而教学内容多为具有实用性的专业知识，如工艺美术、木工、瓦工、雕塑、建筑等。可以说在私塾教书的“归化人”为中国文化在日本的传播起了很大的作用。

    从12世纪末日本开始进入幕府（武士政府）统治时期，先后经历了镰仓幕府、室町幕府、战国争乱和江户幕府等几个时代。这时古代的“大学寮”、“国学”已经消失，取而代之的是各种官营及民营的学校。

    教学内容除传统的儒家经典外，又加入了关于武士修养及技艺方面的知识。到了封建社会的最后一个朝代江户时代，更加推崇儒学，但主要是程朱理学，这一点与传统的儒学有所不同。当时推崇儒教，用儒教治国，但并不排斥本国的传统神道，而是把二者结合起来，叫“神儒一致”。

    自17世纪中叶，德川幕府实行“文治”政策以来，教育又有了明显的发展。中央设有“学问所”，各地方行政机构藩（相当于古代的“国”，今天的“县”）分别设有“藩校”。教学内容仍以儒学为主，兼有汉学、（日本）国学、武术、医学，后来又增加了“兰学”。

    “兰学”就是西学，即西方的自然科学及社会科学的总称。因为江户时代实行的是锁国政策，日本断绝了与世界各国的往来，只在长崎等地与中国和荷兰保持着贸易往来。这时西方已步入资本主义社会，而西方的知识几乎全是由荷兰传入日本的，故称西方学问为“兰学”。

当时另一种基础教育机构叫“乡校”，因设在各乡，故得此名。但是在普及初等教育，提高平民百姓的文化水平过程中，做出最大贡献的应该说是“寺子屋”。早在平安时代寺院就开始办学，但“寺子屋”的大量出现还是在江户时代。

由于当时日本尊儒学崇神学，寺院无论是政治地位还是经济状况都远不如以前了。于是本来就热心办教育的僧侣就更加积极地办学了。由于中央有“学问所”，各地方有“藩校”、“乡校”，贵族及武士子弟都有了入学机会，剩下的平民子弟便成了“寺子屋”招收的对象。但当时在“男尊女卑”思想的影响下，在这里上学的几乎全是男孩。作为学费，既收现金，也收各种农副产品。“寺子屋”的出现使许多较贫困的儿童都有了上学的机会。

“寺子屋”最初只由僧侣们在寺院里办，前来上学的孩子叫“寺子”。后来有的神官、浪人（失去主人的武士）也参与进来。上学的“寺子”一般从六七岁起，到十二三岁止。教学内容最初只是读书写字，后来又增加了算术和珠算，合起来叫“读书、写字、打算盘”。

“寺子屋”是随着平民阶级向上意识的抬头，商品经济对农村的渗透而产生的，反过来它又加速了商品经济的发展，提高了庶民的素质。

据有关资料统计，江户时代先后成立了近万所“寺子屋”。它为日本近代资本主义社会打下了一定的教育基础。

当明治维新成功后，小学立刻在全国普及，其中有许多小学是在“寺子屋”的基础上建立起来的。