岳家軍紀律嚴明，訓練有素，“凍死不拆屋，餓死不擄掠”，因此深受百姓愛戴，岳飛也因此在百姓心中有了崇高地位。
金人有“撼山易，撼岳家軍難”之語。岳家軍部隊久駐鄂州（治今湖北武昌），世居漢地，南宋末年抗擊金蒙的將士，很多就是岳家軍子孫。
南宋初年社會動蕩，政局擾攘，潰兵盜匪遍野。朝廷無力控制各支軍事武裝，兵將驕悍難制，“諸軍動則潰，潰則盜，盜則招，招則官，反復循環，無有窮已”。
各武裝集團潰散、火并之事常有發生，分合無定勢。岳飛素以治軍紀律嚴明著稱，他的軍隊一直比較穩定，許多潰散武裝集團紛紛投靠岳家軍，成為岳家軍中的招降將領，使其隊伍不斷壯大。
岳家軍兵強將強，成為朝廷的一支王牌勁旅，只要邊防軍情緊急或內地寇盜充斥，必調岳家軍應付戰事，并撥隸一部分當地軍隊歸岳飛指揮。
趙構甚至有時心血來潮，詔岳飛“中興之事，朕一以委卿，除張俊、韓世忠不受節制外，其余并受卿節制。”
有些將領戰事結束仍回歸本司，但有相當部分兵將則因之編隸岳家軍中，成為岳家軍中的撥隸將領，從而也壯大了岳家軍。
1135年（紹興五年），岳家軍的規模從三萬多人的規模增加到十萬人左右的規模。這是因為楊幺軍的壯丁五、六萬人大都編入岳家軍，再加上江南西路安撫司統制祁超、統領高道等部（約八千五百多人），和此后增撥的統領丘赟所部（近一千五百人）；荊湖南路安撫司統制任士安、郝晸、王俊、統領焦元等部（約一萬多人）；以及張浚都督府左軍統制杜湛改任岳飛統轄的黃州武將知州帶來的幾千蔡州兵。
岳家軍至少有十二統制“軍”分別是背嵬軍；前軍；右軍；中軍；左軍；后軍；游奕軍；踏白軍；選鋒軍；勝捷軍；破敵軍；水軍。
其中背嵬軍是絕對主力，名字學自韓世忠的同名統制軍；游奕是巡回的意思；踏白是武裝偵察的意思；其它軍名都是增長士氣的軍號。
據紹興九年（1139年）統計，這十二軍共有22名統制、5名統領和252名將官分別率領，其中有正將、副將和準備將各84名。
王貴任中軍統制，張憲任前軍統制，這二人是岳飛的副手，岳飛不在時可代替岳飛指揮其他統制，主持岳家軍全軍的事務；徐慶、牛皋和董先三人最為善戰，此五人是岳家軍的中堅人物。
背嵬軍是岳家軍主力中的主力。在南宋初年的各路駐屯大軍中，唯有岳家軍和韓家軍有背嵬軍的編制。“
背嵬軍”這個名稱最先被韓家軍使用。韓世忠在紹興二年（1132）設立背嵬軍作為自己的親軍。岳家軍背嵬軍的編制是仿照韓家軍編制而來。
“背嵬”一詞是黨項西夏語的音譯，也有的史籍上寫成“背峞”。“峞”有酒瓶之意，大將的酒瓶必然是由親信士卒背負，因此，背嵬軍便引申為大將的親軍之意。
背嵬士卒的選拔是極其嚴格的：軍中進行軍士技能比武的時候，將勝出的士卒登記在冊。一旦旗頭和押隊一類的低級軍官陣亡，則迅速以這些優秀士兵補充進去。
這些被登記了的勇卒之間也會經過多次選拔并決出優勝者來，一旦各級將官有傷亡需要補缺，則再從這些優勝者中進行選拔。這些人都有可能進入背嵬軍。
但凡進入背嵬軍編制的士卒便享受到與岳家軍各級統制相同的尊重，犒賞也異常豐厚。
因此，這支背嵬軍頗具有戰斗力，每每戰事膠著之時，岳家軍必定投入背嵬軍打開局面，每仗必勝。所以在戰事最激烈的時候，背嵬軍往往被用作為突擊隊或敢死隊使用。
背嵬軍戰斗力強悍的另一個重要原因在于背嵬軍中編有8000人的一支精銳騎兵部隊。南宋初年戰馬緊張，南宋各支駐屯大軍并不能組建有效的騎兵部隊與北方敵人做野戰拼殺。
岳飛大軍在剿滅曹成時得到過廣西經略安撫司戰馬的支持，但是戰馬緊缺仍舊是阻擾岳飛組建騎兵集團的最主要問題。
岳飛利用與金齊聯軍交戰的機會，獲得大量戰馬并組建了南宋歷史上第一支真正意義上馬軍。岳飛也成為南宋歷史上第一個能夠大規模以騎兵發起集團野戰的將領。背嵬軍八千騎兵的意義便在于此。
當然，八千騎兵之外，背嵬軍還有步兵。因此，步兵騎兵相加，背嵬軍大約有兵員一萬五六千，甚至更多。