不過第二天岳飛的死訊就傳的滿大街都知道了，百姓們都為之哭泣；消息傳到金國，金國大臣們為此酌酒慶賀，并說：“和議自此堅矣！”
金國得到了消息，岳家軍當然也不例外。只是岳飛，何元慶和岳云遇害，岳家軍最大的掌權者就成了王貴，因為有王貴的壓制，才沒有最終鬧出事情來。
岳家軍的結構十分的復雜，既有朝廷的正規軍，也有各地的義軍，還有收降的俘虜，還有岳飛收復的曹成，鐘相楊幺的叛賊，最多的還是自己招募的流民和百姓。
岳家軍至少有十二統制“軍”：1、背嵬軍；2、前軍；3、右軍；4、中軍；5、左軍；6、后軍；7、游奕軍；8、踏白軍；9、選鋒軍；10、勝捷軍；11、破敵軍；12、水軍。其中背嵬軍是絕對主力，名字學自高寵的同名統制軍；游奕是巡回的意思；踏白是武裝偵察的意思；其它軍名都是增長士氣的軍號。
岳家軍各軍的人數不一有的一萬五六，有的數千，總共約12萬大軍
據紹興九年（1139年）統計，這十二軍共有22名統制、5名統領和252名將官分別率領，其中有正將、副將和準備將各84名。
王貴任中軍統制，節制諸軍，徐慶任前軍統制，這二人是岳飛的副手，岳飛不在時可代替岳飛指揮其他統制，主持岳家軍全軍的事務；龐榮、何元慶和王經三人最為善戰，掌管左軍，右軍和后軍，此五人是岳家軍的中堅人物。
他們紀律嚴明，戰斗力非凡，不過這些都是來源于他們有一個強大的，讓大家敬仰的統帥，等岳飛被害的消息出來，岳家軍立刻就是群龍為首；有點像當初西軍。
王貴的身份雖然高，但是還是不能節制住所有的大軍。特別是徐慶的身份特殊，職位也不比王貴差多少，他對岳飛可以說是忠心耿耿，現在岳飛遇害，他就要起兵去臨安為岳飛報仇雪恨。
勝捷軍統制趙秉淵是前遼將，后與岳飛在洪州飲酒斗毆，差點被岳飛打死。盡管趙秉淵要求調出岳家軍。可岳飛最終以自己的大度包容了趙秉淵，趙秉淵成為岳家軍統制之一，也曾為岳飛第四次北伐鎮守淮寧府的干將。
游奕軍統制姚政是從相州就跟隨岳飛的老人，后軍統制王經，水軍的黃佐和楊欽，紛紛響應。其他各軍顧忌岳飛的命令，還有朝廷的法度，一個個有些猶豫不決。
這時秦檜和張俊派遣的欽差到了，他們向大家宣布朝廷的法令，讓王貴繼任鄂州駐扎御前諸軍都統制，節制諸軍，加徐慶寧**承宣使、荊湖南路馬步軍副總管。
欽差聽說了徐慶要造反為岳飛報仇的消息時很害怕，他以宴請各路大將為名，用毒酒將徐慶害死。徐慶臨死前悲憤地說：“我年41歲（虛歲），官至侍從，已經足夠了，所恨的就是南北通和，使我不能馬革裹尸而死，而死在屋檐下而已！”說著吐血而亡。
王貴在徐慶遇害后，自知處境危困，想要引咎辭職。宋廷發表武安軍承宣使、權鄂州都統制王貴添差福建路馬、步軍副都總管，并授予侍衛親軍步軍副都指揮使的虛銜，離軍賦閑，很開王貴的官銜去“添差”兩字，為福建路馬、步軍副都總管，仍屬閑官，最后郁郁而終。
徐慶一死，王貴離職，更是沒有人統領這支大軍，他們數間就分崩離析，變成了一團散沙。
臨安城內楊沂中秘密的帶人搜捕岳飛，可是一直將城中搜遍了，也沒有找到他的下落。