岳飞起兵之时不过数千，当时的班底是河北八字军，其中不少他的同乡。

转战前线过程中，特别是和“伪军”交手的过程中，军力扩展很快。绍兴二年岳飞在郴州破曹成，与王贵、徐庆招降曹成降卒2万。攻破杨幺所得更多。
此外，并吞友军，也是一条捷径，例如“刘经”事件。当时刘经与岳飞并为统制，其手下军官称刘经要暗杀岳飞，于是岳飞先下手为强将其杀死，“并其军”。赵构海上漂流回来以后，无力辨其中是非，只好顺水推舟承认事实，还将岳飞封为“通泰镇抚使”。
这个职位很有趣。在金军接战的江淮、江汉地区普遍设置镇抚使，这是利用“群盗”守土抗金的地方军区。例如大名鼎鼎的李成就当过“镇抚使”。
后来岳家军还是不断在战斗中壮大，当然，朝廷也会拨些部队充实岳飞。不过，多数都是些残兵败将或小部队。

例如，

绍兴三年（ 1133 ）李成南侵，牛皋失镇，宋廷诏隶岳飞，任岳家军中部统领。

董先，绍兴三年（ 1133 ）因李成南侵失镇，诏隶岳飞军，任踏白军统制。

王俊，讨杨么无功。岳飞平湖湘，宋廷诏王俊隶岳家军，任前军副统制。

要看一支部队的忠诚度，无非将、官、兵而已。

将，岳飞，上面已经说了。

兵，比较复杂，各地都有，这和战斗现实有关。不过其中起码有50%以上来自于群寇、伪军或者是地方义勇军，也就是对朝廷不太感冒的人。
核心班底：王贵、张宪、徐庆、岳云、姚政、寇成、王经
招降义军：傅庆、庞荣、杨再兴、梁兴、孟邦杰、胡清
朝廷调拨：傅选、牛皋、李道、董先、赵秉渊、王俊

宋史记载的岳飞战绩和成长历程
——1129年，岳飞破叛军汉将王善于京师南薰门外。
同年，岳飞破叛军汉将张用于铁路步，破叛军汉将李成于盘城 。
——1130年，岳飞破汉民军郭吉、张威武于江南宜兴，并其军。
同年，杀汉将统制刘经于江苏宜兴，并其军。
同年，破汉将戚方于广德。
同年，岳飞升迁武功大夫昌州防御使通泰州镇抚使兼知泰州。
同年，杀汉将傅庆。
——1131年，破乱军汉将张用、李成、马进于江西，升神武右副军统制。
同年，破江西建州义军及首领范汝为，升神武副军都统制。
——1132年，破乱军汉将曹成于湖南，升中卫大夫武安军承宣使。
同年，破乱军汉将郝通于江西筠州，破乱军汉将刘忠于广济，乱军汉将李通于司公山。
——1133年，破乱军汉将李宗亮等于筠州。
同年，全数剿灭吉州、虔州汉族农民义军于江西，获高宗亲赐“精忠报国”称号。
同年，升迁镇南军承宣使，江南西路沿江制，江南西路制置使，江南西路舒蕲州制置使，神武后军统制。
——1134年，兼任荆南鄂岳州制置使、黄复州汉阳军德安府制置使。
同年，岳飞破郢州，杀汉齐军七千人，叠尸比于城中天王楼，守城汉将鲍超自杀，知县汉人刘楫被俘被活剐。汉齐军传出“憾山易，憾岳家军难”的感叹。
同年，破汉齐军汉将李成于襄阳、新野市、夺取襄阳、郢州、随州、邓州、信阳军等。
同年，岳飞受封清远军节度使、湖北路荆襄潭州制置使。
——1135年，岳飞受封镇宁崇信军节度使，荆湖北路荆襄潭州制置使，加食邑五百户，食实封二百户，进封武昌郡开国侯。
同年，并受荆湖南北襄阳府路制置使，充神武后军都统制。
同年，岳飞悉数剿灭国内最大的汉族农民起义军于洞庭湖，杀农民起义军汉族首领杨么。
同年，岳飞加封检校少保，食邑五百户，实封二百户，进封鄂国公。
——1136年，岳飞受湖北京西招讨使，湖北京西宣抚副使。
同年，破汉齐军于虢州、商州及西京长水。
同年，破汉齐军于何寨，白塔，牛蹄。
——1137年，岳飞拜太尉，升宣抚使。
这段时间，是岳飞对金人主力作战的黑洞时期，也是岳飞一生军旅生涯的黄金时间，实现了一个从普通“通泰州镇抚使”，到“节度使”、“开国侯”、“鄂国公”、“少保”、“太尉”的官职大飞跃呢？

在平定江南内乱的过程中，岳飞战绩辉煌，不但成了能与刘、张、韩并称的一方大帅，还组建成立一直数量庞大的“岳家军”。