在武士集团中，成长最快、势力最强的则要数桓武平氏和清和源氏两家了。桓武天皇是日本第五十代天皇，他迁都平安京，开创了日本历史上“优雅的平安时代”，是一位有作为的天皇。而且，他的老婆也很多，养了一大堆儿子。开枝散叶，这在帝王家应该算是好事，但到了他的儿子嵯峨天皇的时候却出了问题——因为嵯峨天皇也有许多老婆，生了许多的儿子，而且比他的父亲有过之而无不及。但因为自己皇子太多，再加上老爹以及哥哥平城天皇的子孙，竟然导致了国库的入不敷出！嵯峨天皇不好意思拿自己的兄弟、侄儿开刀，只好于弘仁五年（814）把自己儿子中母亲身份较低的皇子降格为臣下，赐为“源”氏，称为嵯峨源氏。这样就开了一个先例，到了下一任淳和天皇时，就对他的兄弟们就没这么客气了，降格高栋王为“平”氏，是为桓武平氏高栋流。再往后，历代天皇纷纷效仿此举，于是出现了“清和源氏”、“宇多源氏”、“醍醐源氏”等等，其中以清和源氏势力最大。

    桓武平氏和清和源氏两家虽然是天皇的子孙，但明显是不受宠的那一种，而且在藤原氏垄断政权的情况下，竟然只能被排挤到地方当国司，而且大多还是去些鸟不拉屎的偏远地区。但在那个讲究血统身份的年代，作为天皇子孙的他们在地方上可是很能吃得开，他们同地方豪族联姻，任期满后也不回京，在地方上走武士化道路，壮大自身势力。

    虽然此时以桓武平氏和清和源氏为首的武士阶层也可以算作统治集团中的一员了，而且在地方上势力也不是一般的大，但中央的贵族阶层却仍然看不起他们，认为武士为贱职，视他们为奴仆，甚至提起来也是一脸的轻蔑：“这不过是个武士罢了”，而且在论功行赏之时也要随便找个理由不发赏金。

    于是，武士阶层与贵族阶层的矛盾日益加深，他们在忍耐中等待着最后一根稻草断裂的时刻……