“陛下已登大寶，社稷有主，已足伐敵之謀。而勤王之師日集，彼方謂吾素弱，宜乘其怠擊之。黃潛善、汪伯彥輩不能承圣意恢復，奉車駕日益南，恐不足系中原之望。臣愿陛下乘敵穴未固，親率六軍北渡，則將士作氣，中原可復。”
趙構一看大怒，你個小兵卒子，說話不經大腦，家國大事是你能議論的嗎？于是剝奪了岳飛的兵權。
岳飛這次被一擼到底，連去背行軍鍋的資格都沒有，被革除軍職、軍籍。
八月，岳飛渡河北上，奔赴抗金前線，此時，“聲滿河朔”的河北西路招撫使張所正在大名府多方收攬英才抗金。張所知悉岳飛的遭遇后，便留他“帳前使喚”。這是岳飛第四次投軍。
岳飛見識非凡、武藝高超，張所破格提拔他。“以白身借補修武郎”（第四十階），任河北招撫使司中軍統領，后又升為統制，隸屬于名將王彥部下。這時候岳飛的官階大致是準將，職務（差遣）是旅長。
張所因主張抗金，早前曾彈劾黃潛善而遭貶謫發配嶺南，最終死于貶途。被張所派遣去收復衛州（河南衛輝）等地的王彥、岳飛一部，隨著張所被貶及河北西路招撫司的撤銷而成為孤軍。
金兵勢大，王彥趨于保守，岳飛擅自率部發起進攻，擊敗金軍攻占新鄉縣。金軍誤以為王彥、岳飛部是宋軍主力（實只七千余人），調集各路金軍圍攻，岳飛率部死戰突圍而出。
王彥因此與岳飛不和，不再同意與岳飛合兵一處，岳飛遂獨自率部戰斗。所以，岳飛從小就有些不聽上級號令，在軍中樹敵頗多。
此時宗澤任東京留守司留守，岳飛率部來投，再次歸入宗澤帳下，任東京留守司統制。
建炎二年（1128年），岳飛此時二十六歲，七月初一，連續二十四次上書北伐而未獲趙構支持的老將宗澤出師未捷身先死，杜充繼任留守，宗澤策劃的北伐夭折。
七月十五日，岳飛按照宗澤生前部署率部進駐河南府（洛陽）。
八月，金軍大舉進攻，妄圖攻取陜西。岳飛所部首當其沖，與金軍大戰于虎牢關，擊退金軍，升武功郎。
此后多次轉戰，到建炎三年時他因軍功先后補武經大夫、武略大夫借英州刺史、武德大夫英州刺史（三十五階升至第十九階）。
宋朝的刺史是從五品的武臣寄祿官（代表官員身份地位的虛銜），無職掌，無定員，級別大致是副廳級+。武官官階方面，大致是中將，雖然職官只是旅長，但是軍銜很高。
建炎三年（1129），金軍在岳飛這兒碰到硬釘子，于是轉變攻擊方向。
一月，徐州、淮陽、泗州陷落，二月，天長軍（安徽天長）被攻陷。趙構慌忙逃至杭州，五月移駕建康（南京），不久又轉回杭州。六月，杜充以勤王為名放棄開封，岳飛苦諫無果，只得隨軍南撤。
秋，金軍多路南侵，其中完顏兀術（金兀術）領軍直接進攻江南，妄圖一舉滅亡南宋。十一月，金軍渡江后，杜充派都統制陳淬率岳飛、戚方等將官統兵二萬奔赴馬家渡，又派王燮的一萬三千人策應。
二十日，陳淬率軍力戰，岳飛獨率右軍與金軍對陣，然而王燮卻不戰而逃，陳淬戰死，諸將皆潰，岳飛苦戰無援，二十二日整軍退往建康東北的鐘山。二十三日，杜充放棄建康逃跑，繼而降金。
金兀術渡江后沖向杭州，各路宋軍紛紛潰敗，趙構坐海船逃至海上躲避，據說因此受驚嚇造成了不舉。當然趙構不會對李寺說起。
馬家渡之戰后岳飛決定脫離杜充，獨自領軍在金軍后方發起進攻，多次給予金軍重擊，收復多處失地。
建炎四年（1130）二月，金軍北撤，受到岳家軍截擊，損失慘重。五月，岳家軍收復建康，俘獲萬戶、千戶以下千余名金兵，這是岳家軍首次輝煌勝利。
四月任御營使司統制（隸屬張俊），收復建康（南京）后，岳飛押送俘虜面圣，這是君臣倆第一次相見，補武功大夫（第十五階）、昌州防御使，通、泰州（南通、泰州）鎮撫使兼泰州知州。