七月上旬，宋金两军在东部和西部战场处于平局状态，中部战场张俊在亳州、宿州吃了几场小败已经撤军，惟独李若虚并不节制中部的岳家军北伐。秦桧的亲信殿中侍御史罗汝楫上奏说：“兵微将少，民困国乏，岳飞若深入，岂不危也！愿陛下降诏，且令班师。”宋高宗赵构在七月八日或稍后，大致与郾城之战同时，发出了第一道班师诏。

岳飞在七月五日上奏报告梁兴、董荣、赵俊、乔握坚等部的胜利：“臣契勘金贼近累败衄，其虏酋四太子等皆令老小渡河。 惟是贼众尚徘徊于京城南壁一带，近却发八千人过河北。此正是陛下中兴之机，乃金贼必亡之日，若不乘势殄灭，恐贻后患。伏望速降指挥，令诸路之兵火急并进，庶几早见成功。”

七月十八日，即张宪从临颍杀向开封之时，第一道班师诏送达。岳飞鉴于当时完胜的战局，写了一封奏章反对班师：“契勘金虏重兵尽聚东京，屡经败衄，锐气沮丧，内外震骇。闻之谍者，虏欲弃其辎重，疾走渡河。况今豪杰向风，士卒用命，天时人事，强弱已见，功及垂成，时不再来，机难轻失。臣日夜料之熟矣，惟陛下图之。”

隔了两三日，朱仙镇已克，完颜宗弼已逃出开封之时，据说岳飞在一天之内接连收到十二道用金字牌递发的班师诏。其中全是措辞严峻、不容反驳的急令，命令岳家军必须班师回鄂州，岳飞本人则去“行在”临安府朝见皇帝。宋高宗发十二道金牌的时间，大约是在七月十日左右，即他得到七月二日克复西京河南府捷报不久。

岳飞收到如此荒唐的命令，愤惋泣下，朝东往“行在”临安府的方向一再行拜礼：“十年之力，废于一旦。”不得不下令班师，百姓闻讯拦阻在岳飞的马前，哭诉说担心金兵反攻倒算：“我等戴香盆、运粮草以迎官军，金人悉知之。相公去，我辈无噍类矣。”岳飞无奈，含泪取诏书出示众人，说：“吾不得擅留。”于是哭声震野。岳飞决定留军五日，以便当地百姓南迁，“从而南者如市，亟奏以汉上六郡闲田处之。”

这时宋高宗赵构对战局的控制反复无常，有努力做到不胜不败以利议和的嫌疑。在接到岳飞郾城大捷的战报后，尤其是接到岳飞七月十八日反对班师的上奏后，又于七月二十五日命令杨沂中的殿前司军从“行在”临安府开赴淮南西路北上待命，并发手诏，改令岳飞“且留京西，伺贼意向，为牵制之势”。这种战胜后不乘胜出击反而班师、但也竭力牵制金国的奇特举动，也许和高宗生母韦氏当时作为事实上的人质被金国囚禁待释有关。

八月中旬，杨沂中的殿前司军到达宿州，以五千骑兵夜袭柳子镇，却不见金兵踪影。在探知金军以重兵埋伏于归路后，也不知是真是假，金军是否还有战斗力，殿前司军“遂横奔而溃”。金军乘胜占领宿州，并因当地人欢迎过宋军进行报复屠戮。

岳飞前往“行在”临安府的路途已走了大半，期间不断接到宋高宗的手诏，以及秦桧以三省、枢密院名义递发的省札。尽管内容自相矛盾颠来倒去，最后仍是令岳飞“疾驰入觐”，“赴行在奏事”。当岳飞听到中原传来的宋军败讯，只能长叹：“所得州郡，一朝全休！社稷江山，难以中兴！乾坤世界，无由再复！”结果岳飞的第四次北伐因为政治原因而失败。