完颜宗弼占领建康府后，只派萧斡里也和张真奴领数千人留守，自己则亲率主力追赶宋高宗。十二月初（1130年1月），完颜宗弼经广德军、湖州安吉县攻向临安府，宋高宗逃到明州。完颜宗弼占领临安府后，命令斜卯阿里和乌延蒲卢浑带四千轻骑急攻明州，追击宋高宗，宋高宗再从明州乘船经海上逃到温州避难。

张俊在明州以优势兵力杀金军中的近千名签军，取得“明州大捷”。完颜宗弼派兵增援，张俊带领明州城内大部分百姓撤离。

完颜宗弼占领明州后，无法活捉逃到海上的宋高宗，劫掠一番决定撤兵。金军利用大运河，将劫掠所获用船运往北方，一路攻破秀州、平江府、常州，准备自镇江府北渡。二月，金兵过吴江县，浙西宣抚使统制陈思恭，以舟师败之于太湖。 三月，完颜宗弼被韩世忠所部八千余人在黄天荡拦截，被困四十日。因为有汉奸献策，金军掘通河道将船队经秦淮河引入建康城西的长江江面。韩世忠赶去攻击，却被金军的火箭击退。

岳飞在此间带领东京留守司军的残部转战广德军，六战皆捷，俘虏王权等伪军将领四十多名。驻军广德军的钟村，军粮用尽，将士忍饥，却不敢扰民。建炎四年（1130年）初春，宜兴知县钱谌（chén，作姓时读shèn,zhòng）通知岳飞说县里的存粮够一万人吃十年，欢迎他率军保护县境。二月，岳飞进驻宜兴，屯于张渚镇。在宜兴，岳飞收降了因政局混乱而在当地为匪的多支部队以及金军强征来的河北伪军。岳飞自己就是河北人，平等对待河北、河东等地的签军。伪军们都传话说：“此岳爷爷军。”争来降附。

三月，金军在劫掠秀州和平江府之后，攻向常州。常州知州周杞探知这一情况，派赵九龄（是曾经在张所的河北招抚司里和岳飞共事过的熟人）到宜兴县请岳飞前来镇守常州。但在岳飞启程之前，周杞已经紧随赵九龄也来到了宜兴县，放弃了常州城。岳飞与周杞、赵九龄一起带兵北进，前后四战，夺回常州。又尾随追袭于镇江府东边，再捷。此时，原杜充手下的统制、现已成为割据一方的盗匪的戚方攻陷了广德军，岳飞忙赶回宜兴县，带一千多骑兵赴广德军，但戚方已西去攻打宣州。

宋高宗已从海上逃回越州，任命张俊为浙西路江东路制置使，“诸将并受节度”要收复建康。张俊自己的部队是宋高宗原来的河北兵马大元帅府的嫡系部队，他只派岳飞统率的原宗泽、杜充的东京留守司的非嫡系部队当前锋去攻打金兵镇守的建康府。四月二十五日，岳飞在位于建康城南三十里的清水亭首战大捷，金兵横尸十五里，斩得耳戴金、银环的女真人头一百七十五级，活捉女真军、渤海军和汉儿签军四十五人。五月初，岳飞到达清水亭以西十二里的牛头山扎营，夜里令百人敢死队穿黑衣混入金营中扰之，金兵惊，自相攻击杀伤。

完颜宗弼于五月十日退到建康城西北十五里的龙湾镇（靖安镇，静安）。岳飞以骑三百、步兵二千驰至新城，大破之。五月十一日，完颜宗弼从龙湾撤退到长江对岸的真州六合县宣化镇。岳飞追至龙湾镇，实现了四年前“靖康之难”前一年金国第一次伐宋时西军老将种师道的“(江河)半渡邀击金军”的遗愿，完全消灭了留在南岸的所有金军。金军损失惨重，女真人被斩的“秃发垂环者之首无虑三千人”，千夫长留哥等二十多名高级军官被俘，其中仅在龙湾镇一地就俘获包括八名女真人在内金兵三百多人。韩世忠和岳飞给予金军重创，以至完颜宗弼回到北方见到熟人就“相持泣下，诉以过江艰危”，这一年金国皇太弟完颜斜也死时的遗嘱里也对南宋迅速增长的战力表示忧虑：“吾大虑者，南宋近年军势雄锐，有心争战。”

完颜宗弼北逃至淮西，宋军遂复建康，但杜充的无德无能和金军的残暴已经在当时拥有近二十万人口的建康留下了毁灭性烙印。除有大批人口被金兵俘虏过江之外，这以后的两年内，人们收拾和掩埋残缺不全的尸骨，达七、八万件。

五月下旬，岳飞亲自押解这些战俘去越州，生平第一次觐见宋高宗赵构。岳飞先见到了上司张俊，张俊通知岳飞朝廷要派他镇守江南东路的饶州(今江西波阳县)，岳飞认为这样不妥而上奏：“建康为要害之地，宜选兵固守，仍益兵守淮，拱护腹心。”宋高宗表示支持。

六月初，宋廷又命张俊统领岳飞征讨戚方。戚方原本厢兵，后成为盗匪，再投奔杜充任准备将，又升统制。马家渡之败后再当盗匪，攻陷了广德军，岳飞当时回军带一千多骑兵赴广德军，但戚方已西去攻打宣州，没有成功，就转攻湖州安吉县。岳飞从越州返回宜兴县后，以三千人在广德军东南约七十里的苦岭扎寨，与戚方交锋，戚方战败被岳飞追击，不得已便向张俊投降。

岳飞回到张渚镇，因为即将离开，在房东张大年的屏风上题词：

近中原〔板〕荡，金贼长驱，如入无人之境；将帅无能，不及长城之壮。余发愤河朔，起自相台，总发从军，小大历二百余战。虽未及远涉夷荒，讨曲巢穴，亦且快国雠之万一。今又提一垒孤军，振起宜(兴)，建康之城，一举而复，贼拥入江，仓皇宵遁，所恨不能匹马不回耳！

今且休兵养卒，蓄锐待敌。如或胡廷见念，赐予器甲，使之完备，颁降功赏，使人蒙恩；即当深入虏庭，缚贼主碟血马前，尽屠夷种，迎二圣复还京师，取故地再上版籍。他时过此，勒功金石，岂不快哉！此心一发，天地知之，知我者知之。建炎四年六月望日，河朔岳飞书。

张俊回朝后向范宗尹“盛称岳飞可用”，由范宗尹向宋高宗推荐，岳飞任武功大夫、昌州防御使，通州镇抚使兼知泰州。岳飞因为通州、泰州不在金军出入的前线地带，上奏辞谢，改命为淮南东路一重难任使。

完颜宗弼从真州北上后，在楚州一带被南宋承州、天长军镇抚使兼承州知州薛庆和楚州、泗州、涟水军镇抚使、兼楚州知州赵立两人率军截击。完颜宗弼和主攻淮南的金军主将完颜昌在六合会合，两人商定会师攻打楚州，杀宋将薛庆，攻占了扬州和承州，包围楚州。

宋高宗诏张俊援救楚州。张俊自己的部队是宋高宗原来的兵马大元帅府的嫡系部队，推辞不去，又派岳飞统率的原东京留守司的非嫡系部队当前锋去拼杀，并命令刘光世出兵援助岳飞。刘光世本人屯守镇江府，命部将王德和郦琼于八月二十四日渡过长江，第二天过邵伯，向西北进入天长军。王德后来因部属不用命，斩其左军统领刘镇和裨将王阿喜，于九月撤兵未能援救楚州以及岳飞一军。

岳飞于八月十五日回到宜兴，于十八日出发，于二十二日到达江阴军，于二十六日夜到达泰州城下。九月九日以后，岳飞命张宪留守泰州，自己亲率部队进驻承州以东几十里的三墩，不久到达承州，三战三捷，杀高太保、俘虏阿主里孛堇等七十余人。

九月中旬，楚州镇抚使赵立被炮石打碎头颅而死。九月下旬，金兵冲入楚州城和楚州军民巷战，终于攻克楚州。由于赵立的抗战态度，楚州保卫战的激烈抵抗是少有的，可以和靖康年间王禀的太原保卫战和同在建炎年间的西部陕州保卫战相提并论。楚州失守后，完颜昌转攻屯泊北神镇的李彦先部，属下金兵在淮水中包围了李彦先的座船，李彦先全家殉难。

在承州和楚州之间，有绵亘三百多里的大湖泊。金兵于建炎三年攻陷扬州时，出身梁山泊的民间抗金武装领袖张荣率其水军乘数百艘船只转移到这个湖泊地带，驻扎于鼍潭湖。建炎四年九月，完颜昌先后破赵立和李彦先部。十一月，完颜昌乘天寒湖泊冰冻之时，攻破鼍潭湖，张荣撤往通州。

宋高宗诏岳飞还守通州、泰州，有旨可守就守，如不可守，但以沙洲保护百姓，伺机掩击即可。此时完颜昌又南下向承州附近的岳飞进攻，岳飞接到宋高宗退守通州和泰州的诏书后，因泰州无险可恃，决定退保柴墟（在今江苏省泰兴县），在柴墟镇南霸桥杀退完颜昌的陆上追兵，全军退往江阴军。这以后，岳飞才拥有了人马万余，着手建立所谓的“岳家军”。

完颜昌占领通、泰两州后，急于消灭驻扎兴化县缩头湖的张荣的抗金民军。绍兴元年(1131年)三月，完颜昌率领六千多水军用大战舰作前导攻张荣水寨，张荣只有几十只小船，但他认为：“无虑也，金人止有战舰数只在前，余皆小舟，方水退，隔泥淖，不能触岸。我舍舟而陆，杀棺材中人耳！”引诱金兵陷入泥淖，不能自拔。张荣军大胜，金将完颜忒里被杀，完颜昌的女婿、万夫长浦察鹘拔鲁被俘。张荣乘胜克复泰州、楚州，完颜昌一直撤至淮河以北。淮东路大部分州县又重归宋朝。这场战役是南宋立国后空前的大捷，缩头湖后来也因而改名为“得胜湖”。

绍兴元年（1130年）七月，宋廷因原有的正规军“禁兵”已被战乱打散，重新编组新的正规军。将张俊所部组建为“神武右军”，韩世忠所部组建为“神武左军”，两人均为都统制。王䫉所部组建为“神武前军”，陈思恭所部组建为“神武后军”，两人均为统制。岳家军在张俊所部，军号定名为“神武右副军”，岳飞为统制，屯驻洪州。原神武右副军统制颜孝恭的兵马拨属江南东路安抚大使司，空缺由岳飞填补。十月，宋廷又将岳飞武官虚衔升为亲卫大夫、建州观察使，为从五品的遥郡观察使。十二月，“神武副军”都统制辛企宗因镇压福建范汝为之乱不力而被削职，岳飞的“神武右副军”改名为“神武副军”，并升迁为都统制。

绍兴二年(1132年)正月末，岳飞被任命为知州、兼荆湖东路安抚使、都总管，统率军马前往潭州。二月，主战派头号人物李纲被起用为荆湖、广南路宣抚使，岳飞等将领划入李纲部下，讨伐湖东路的盗匪曹成。当时岳家军的兵力为一万二千余人，岳飞以二千人驻守吉州(今江西吉安市)，以其余的一万多人进攻曹成的部队。战斗中岳家军尽占优势，但曹成部下悍将杨再兴骁勇异常，先是攻入岳家军第五正将韩顺夫的营地，将韩砍折一臂而死，后又杀死了岳飛的胞弟岳飜。但杨再兴最终被岳家军俘虏，被岳飞收服而成为日后岳家军的著名悍将之一。李纲称赞岳飞“年齿方壮，治军严肃，能立奇功，近来之所少得”，断言他“异时决为中兴名将”。闰六月，岳飞升三官为中卫大夫、武安军承宣使，仍属从五品。讨伐曹成后，岳家军兵力增一倍，达二万三千到四千人左右，与韩世忠、刘光世、张俊等军相差不多。

绍兴三年（1133年）九月，岳飞第二次朝见宋高宗。宋高宗亲笔书写“精忠岳飞”四字，绣成一面战旗，命岳飞在用兵行师时作为大纛。又任命岳飞任江南西路舒蕲州制置使，将驻守蕲州的统制李山，屯扎江州的统制傅选两支部队并入岳家军，将淮南西路舒州和蕲州的防务并入岳飞的防区。岳家军的军号也由“神武副军”升格为“神武后军”，但岳飞的官衔却由都统制改回统制，这是因为他的资历尚浅，还不能和“神武左军”都统制韩世忠、“神武右军”都统制张俊相比。