宋朝主战派的首领李纲罢相后，东京开封府的留守宗泽就事实上成为主战派的首领。宗泽和北方的民间自发抗金武装建立了广泛的联系，收编了号称百万人的大军，积储了足供半年食用的粮草。宗泽委任王彦为“制置两河军事”。岳飞和王彦难以共事，便决定南下东京开封投奔宗泽。东京留守司的官员查究岳飞脱离王彦节制的经过，按规定建议宗泽对岳飞军法从事。宗泽考虑到河北招讨使张所贬谪后北方宋军的混乱情况和岳飞离开王彦后一路所立之战功，决定将岳飞留在军中，降官为“从八品秉义郎”以示惩诫。

建炎元年十二月（1128年1月），金军又南侵进犯孟州汜水关。宗泽即派岳飞为踏白使，告诫他“汝罪当死，吾释不问，当今为我立功。往视敌势，毋得轻斗。”让他率领五百骑兵前往侦察。岳飞在汜水关一带击败金军，回东京开封府后，被宗泽升为统领，不久又提升为统制。

就在从建炎元年冬到二年春（1128年末到1129年初）的这段时间里，金国分兵三路全军出动。此时前东路军统帅完颜宗望已经病死，东路由“三太子”完颜宗辅和元帅左监军完颜昌统领，“四太子”完颜宗弼率兵向开封东面进逼；西路由完颜娄室和完颜杲（撒离喝）率领，攻打陕西；中路由左副元帅完颜宗翰和元帅右监军完颜希尹指挥，作为主攻部队取西京河南府，又占领郑州，在开封西面和宗泽所率的东京留守司军对阵，完颜宗翰又命部将完颜银术可与完颜拔离速、赛里、萨谋鲁、耶律马五、沙古质等分兵继续南下，企图从南面包抄。在开封及附近的州县，宋、金双方进行了激烈的战斗。尽管宗泽的东京留守司军四面受敌，但宗泽坐镇留守司从容地调动军队部署战斗，使金军无力攻下开封。正月里，开封市民甚至一如往时张灯结彩。岳飞从正月开始，参加了的开封北面门户滑州一带的战事，接连在胙城县（今河南延津县东北）、卫州汲县西的黑龙潭等地获胜。

建炎二年四月（1128年5月）以后，天气炎热，金军撤退，宗泽准备北伐[1]。王彦的八字军奉宗泽之命移屯滑州。五马山的首领马扩，也携带信王赵榛的信前来东京留守司。宗泽和王彦、马扩等人共同制订了北伐的计划：

王彦军自滑州渡黄河，直取怀州、卫州、濬州、相州等；

马扩军由大名府攻打洺州、庆源府和真定府；

杨进、李贵、王善、丁进等部队分头并进，河北、河东山水寨、燕、云地区的民间抗金武装也约定时日起事。

但很不幸的是，宗泽于建炎二年七月初（1128年8月）病逝，其副手杜充接任东京留守。

岳飞按照宗泽生前的部署，率领毕进等部将，随同宗泽助手主管侍卫步军司公事闾勍，于建炎二年七月十五日进驻西京河南府，负责保护那里的北宋皇陵。八月（1128年9月），闾勍命岳飞再去汜水关御敌。岳飞又大胜来犯金军，以功转“从七品武功郎”，升至诸司副使的最高一阶。建炎二年岁末，岳飞奉东京留守司的命令离开闾勍返回开封。