杜充接任东京留守后，立即中止宗泽的北伐部署。统制薛广一部已去相州，而王善和张用两部未能派出，薛广战死，固守近两年的岳飞故乡相州城在建炎二年（1128年）十一月陷落，守臣赵不试自杀死节。杜充又切断了对北方民间抗金武装的联系和支援，河东和河北的最后一批州县，包括北京大名府和五马山寨，全部在此时被金军攻占。

“宗泽在则盗可使为兵，杜充用则兵皆为盗矣”。杜充上任后，前一年冬季还在宗泽麾下奋战抗金的丁进、杨进两部首先叛而为“盗”，王善、张用等部也有异动。

岳飞返回开封后，杜充立即命令岳飞去消灭张用等部。张用是岳飞的汤阴同乡，曾当过汤阴的“弓手”（类似今之巡警），并和曹成、李宏、马友绍等是拜把兄弟，有几万兵力，王善部也从一旁保护。岳飞以“兵寡不敌”为理由，婉言推辞，但杜充以军法问斩相威胁，勒令岳飞出兵。岳飞有以往擅自脱离王彦的前科教训，无法抗命，只能以不到千人的部众击退张用、王善部，解了杜充之围，以功升“正七品诸司正使武经大夫”。接着，岳飞又奉命解救盗匪杜叔五、孙海包围的东明县（今河南兰考县北），活捉了两个匪首，升“转武略大夫”、借英州刺史。王善、张用退兵后，转攻淮宁府（治宛丘，今河南淮阳县）久攻不下，便引军离去。岳飞再去救援淮宁府，与王善军战于清河，俘虏孙胜、孙清等，因功双升“转武德大夫”，真授英州刺史。

建炎三年（1129年），宋高宗在苗刘兵变后，改用康王的名义向金元帅完颜宗翰致书，说自己“守则无人”，“奔则无地”，“惟冀阁下之见哀而赦己”，结果不但没有得到任何怜悯，反而使金军认为是南侵的好时机。此时杜充畏战，带着东京留守司主力军南撤建康府，责成副留守郭仲荀留在开封守卫。不久，郭仲荀也依法炮制，命留守判官程昌㝢接替，自己逃往南方。程昌㝢再次重复这招，将守城责任推给了上官悟，自己逃之夭夭。在《东京梦华录》中曾经繁荣一时的开封城，因为逃走和饿毙的原因，到建炎四年二月最后陷落时，城里的壮年男子还不满一万人。

岳飞于建炎三年（1129年）六月下旬刚回到开封，就接到杜充的命令要撤往建康府。岳飞苦劝：“中原地尺寸不可弃，今一举足，此地非我有，他日欲复取之，非数十万众不可。”但无用，又由于脱离王彦的教训不能违抗上级，只能随杜充南下。

宋廷却认为杜充“徇国忘家，得烈丈大之勇；临机料敌，有古名将之风。比守两京，备经百战，夷夏闻名而褫气，兵民矢死而一心”，任命杜充任同知枢密院事，官至执政。杜充推辞，宋高宗又破格任命杜充为右相，官职仅在左相之下，杜充才上任并兼江、淮宣抚使镇守建康。

金国由元帅左监军完颜昌领军进攻淮南，而由完颜宗弼领军直接进攻江南。完颜宗弼兵分两路，西路由完颜拔离速、完颜豰英、耶律马五率领，十月由黄州渡江屠洪州，劫掠长江中游的湖北、江西一带；东路则由完颜宗弼亲自率领，直捣赵构所在的临安。十一月，杜充的水军进攻割据一方的李成，金军支援李成掳获宋军大量船舰。完颜宗弼在攻打太平州(今安徽当涂县)的采石渡和慈湖不果后，转道建康西南的马家渡渡过长江进入江南。

杜充自己深居简出不做准备，岳飞泣谏：“勍虏大敌，近在淮南，睥睨长江，包藏不浅。卧薪之势，莫甚于此时，而相公乃终日宴居，不省兵事。万一敌人窥吾之怠，而举兵乘之，相公既不躬其事，能保诸将之用命乎？诸将既不用命，金陵（建康府）失守，相公能复高枕于此乎？虽飞以孤军效命，亦无补于国家矣！”但也无济于事。听到金军渡江的消息后，杜充只派都统制陈淬率岳飞、戚方等将官统兵二万奔赴马家渡，又派王䫉的一万三千人策应。十一月二十日（儒略历1130年1月1日），陈淬率军力战，岳飞率右军和金国汉军万夫长王伯龙部对阵，但王䫉先临阵逃跑，陈淬战死，诸将皆溃，只有岳飞力战，整军退屯建康东北的钟山。

杜充本人接到马家渡的败报后，于十一月二十三日丁卯（儒略历1130年1月4日）率亲兵三千弃城逃到江北的真州，旋即被完颜宗弼劝降投靠金国。宋高宗得知杜充不战而降，哀叹“朕待充自庶拜相，可谓厚矣，何故至是？”，难过得“不食者累日”。