绍兴五年（1135年）夏，金国左副元帅完颜宗辅去世，右副元帅完颜昌和元帅左监军完颜宗弼成为最有军权的将领。

绍兴五年（1135年），岳家军的规模从三万多人的规模增加到十万人左右的规模。这是因为杨幺军的壮丁六万人大都编入岳家军，再加上江南西路安抚司统制祁超、统领高道等部（约八千五百多人），和此后增拨的统领丘赟所部（近一千五百人）；荆湖南路安抚司统制任士安、郝晸、王俊、统领焦元等部（约一万多人）；以及张浚都督府左军统制杜湛改任岳飞统辖的黄州武将知州带来的几千蔡州兵。岳家军以后也大体维持十万左右这个数量直到岳飞被宋高宗和秦桧所害。

绍兴五年（1135年）十二月（阳历已到1136年），宋廷进行了全国范围的军队整编，分为“三衙军”和五大部“行营护军”。“三衙军”即“禁卫军”，由殿前司、马军司、步军司所辖部队组成。五大部“行营护军”中，(1)张俊一军为“行营中护军”，(2)韩世忠一军为“行营前护军”，(3)岳飞一军为“行营后护军”，(4)刘光世一军为“行营左护军”，(5)吴玠一军为“行营右护军”。五大部之外又将王彦的“八字军”编为“行营前护副军”。

从1135年军队整编至1141年绍兴和议，行营护军是南宋的基本军事力量，而三衙军则刚刚组建，除杨沂中统率的殿前司部队因由原来的神武中军改编而成、兵力较强，其它两部解潜统率的马军司部队只有两千骑兵，和颜渐统率的步军司部队都是新编无战斗力的部队。

主力行营护军五大部有三个来源：一是源于南宋初年康王大元帅府的宋高宗嫡系御营军，如张俊、韩世忠、刘光世所部，岳飞最早也属这个系统，但因为上书被罢职而离开此军投入张所的军中；二是源于宗泽的东京留守司军，这是岳飞离开王彦后加入的、和金军战斗最多的部队，是岳家军的来源；三是源于吴玠的陕西军，吴玠一军原本没有名号，在这次整编中才得到了行营右护军的名号，被列入正规军。岳飞和吴玠二人都不是嫡系，是纯粹靠军功起家的将领，其部队是行营护军中的主力，尽管人数较少，但战斗力最强。参知政事李邴曾对宋高宗说：“陛下即位之初，韩世忠、刘世光、张俊威名隐然为大将，今又有吴玠、岳飞者出矣。”

至此，岳家军前后更改了“神武右副军”、“神武副军”、“神武后军”和“行营后护军”四个军号。

1135年，由于岳家军的兵力变成了原来的三倍，岳家军也从原先十将的编制扩充至三十将的编制，每将的平均兵力是三千多人。到绍兴九年(1139年)岳家军增至八十四将，每将的平均兵力减至一千二百余人。

岳家军至少有十二统制“军”：1.背嵬军；2.前军；3.右军；4.中军；5.左军；6.后军；7.游奕军；8.踏白军；9.选锋军；10.胜捷军；11.破敌军；12.水军。其中背嵬军是绝对主力，名字学自韩世忠的同名统制军；游奕是巡回的意思；踏白是武装侦察的意思；其它军名都是增长士气的军号。

据绍兴九年(1139年)统计，这十二军共有22名统制、5名统领和252名将官分别率领，其中有正将、副将和准备将各84名。王贵任中军统制，张宪任前军统制，这二人是岳飞的副手，岳飞不在时可代替岳飞指挥其他统制，主持岳家军全军的事务；徐庆、牛皋和董先三人最为善战；此五人是岳家军的中坚人物。