完顏希尹也隨即被免去元帥右監軍職，改任尚書左丞相兼侍中。蕭慶被免去平陽尹職，改任尚書右丞。至于韓企先在太宗朝即已被召入京，任尚書右丞相。至此，宗翰及其心腹喪失了軍權，又離開了他們所控制的華北地區，完全被架空了。
金國的主和派徹底占據了上風，他們害怕開平軍，于是開始謀求和南宋的合作，準備共同遏制中間的開平軍。
趙構現在也不太順利，他正在翻以前的后賬。上次自己出兵健康，因為劉光世的手下酈瓊投降，差點將性命丟在健康，也導致高寵趁機北歸，成了心腹大患。
一日趙構把岳飛召至“寢閣”，向岳飛授命說：“中興之事，朕一以委卿。”趙構準備將劉光世所部兵馬五萬余人隸屬于岳飛。
岳飛見部隊行將擴充，收復中原有望，心情異常激動，便親手寫成一道《乞出師札子》。岳飛陳述了自己恢復中原的規劃，而且此時已不再提及迎還“二圣”或者“淵圣（宋欽宗）”之事，只將欽宗包括在“天眷”之中。
趙構御覽岳飛奏疏后，親賜御札嘉獎，都督府也將劉光世軍情況通報岳飛。撥劉光世軍與岳飛，似成定局，不意張浚和秦檜從中梗阻，趙構聽從張浚之議，置已決之“前議”于不顧，又下詔給岳飛說：“淮西合軍，頗有曲折。”不將劉光世軍撥與岳飛。
張浚見了岳飛，撇開歸劉軍與岳飛之“前議”，以淮西軍中人事安排相問，岳飛耿直的回答卻遭張浚譏刺。
岳飛胸中積忿，上了一道乞罷軍職的札子，不等批示，只向隨行機密官黃縱略事交代后，就離開建康，回到廬山母墓旁守制了。
趙構聞知岳飛辭職，即詔令鄂州軍營將佐立刻敦請岳飛還軍，又派張宗元到鄂州軍中做宣撫判官。朝廷命李若虛、王貴去廬山請飛還軍，李若虛勸了岳飛六日，岳飛才答應受詔朝見，還軍視事。
張俊用人不當，終于招致了淮西軍變，張浚因此引咎辭相。岳飛得到兵變的消息，立即上疏表示愿率軍進屯淮甸，拱衛建康行朝。趙構只讓岳飛到江州駐扎。
接著岳飛收到金國要放歸欽宗的太子趙諶的諜報，對此表示擔憂，在入覲時向趙構提議立其養子趙瑗（即后來的宋孝宗）為皇儲，以示高宗之正統。
但趙構對此提議不滿，他認為立太子是官家的私事，豈容一個外臣，還是手握重兵的外臣置喙？于是狠狠地責備了岳飛。岳飛和趙構之間的矛盾，就是從這一年開始逐漸加深的。
大宋朝的中興四將，一下子就剩下一個老實巴交的呼延通；朝中的大權完全的被投降派把持著。
金人的主和派和大宋的頭銜投降派他們一拍而和選擇了合作。金朝已經打算廢黜劉豫，而劉豫還向金人日益請兵，金朝就以女真萬戶束拔為元帥府左都監，以渤海萬戶大撻不也為右都監，同時監視劉豫，接著尚書省彈奏劉豫治國沒有成績，應當廢掉。十一月十八日，金廢劉豫為蜀王。