對此岳飛非常不高興，他心灰意冷地離開了建康，溯江西上。岳飛雖然非常不滿，卻不敢直接對皇帝發泄自己的情緒，于是以“將相議事不合，乞罷兵守余服”為名，向皇帝上奏辭職。
趙構的批示還沒下來，岳飛就回到了江州廬山東林寺附近的居第。趙構接到岳飛的奏折后，立即下旨要他復出治事。
趙構雖然表面上不動聲色，但實際上卻非常不滿，在他看來，岳飛的舉動就是大不敬。宋高宗聽取張浚的建議，派張宗元前往鄂州，擔任岳家軍的宣撫判官。
雖然岳飛將岳家軍的軍務委托給了張憲，但此時張憲也因病離職，朝廷又派張宗元前來，結果引發岳家軍內部的混亂，導致軍心慌慌。
此時岳飛也已經接到趙構的旨意，但他仍然沒有返回軍營的意思，再度向宋高宗提出要在廬山為母親守孝。趙構接到奏折后，再度向岳飛下旨，表示軍情緊急，希望岳飛不要推辭，速速返回軍營，不要再有所陳請。岳飛接旨后，仍然沒有復出的意思。
趙構沒有辦法，只好下發了第三道旨意。南宋朝廷料到岳飛可能還會不遵旨意，讓三省、樞密院向岳飛手下的參議官李若虛、統制王貴下了一道命令，讓他們去廬山敦請岳飛，假如違抗命令，以軍法從事。
李若虛見到岳飛后，岳飛依然沒有復出的意思。李若虛說道：“是欲反耶，此非美事。若堅執不從朝廷，豈不疑宣撫。且宣撫乃河北一農夫耳，受天子之委任，付以兵柄，宣撫謂可與朝廷相抗乎！”
在這種情況下，岳飛才返回軍中，同時以待罪之身向朝廷上書。雖然趙構沒有怪罪岳飛，但這是因為當時的戰況緊急。
不過，趙構在給岳飛的一道御札中，警告岳飛，“犯吾法者，惟有劍耳”。在趙構看來，岳飛非常跋扈，居然敢三次違背自己的旨意，到底誰才是老大？
總之，岳飛謎一樣的操作整的趙構寢食難安，但趙構又不敢拿岳飛怎么樣，畢竟這萬里江山還需要岳飛的守護。
李寺當然知道趙構和岳飛之間的恩怨情仇，他指著天上的月亮道：“你看，月有陰晴圓缺，人有優點缺點，你對岳飛是不是有些偏見？”
“我是問你和岳飛說了什么，誰問你岳飛有什么缺點了。”
“你要是對岳飛沒有偏見，怎么會在意我和岳飛說什么？”
李寺知道趙構心里的想法，趙構是怕李寺攛掇岳飛謀反，李寺已經說中幾次軍情，要是和岳飛聯手，這邊關局勢可就緊張了。
“哼，我只是好奇，你是怎么搭上岳飛的，難道你對軍國大事也開始感興趣了？”
“國家興亡匹夫有責，我當然要對軍國大事感興趣，沒有和平，生意做的再大又如何！”
李寺說的是真理，賺再多的錢，國家要是不太平，有命賺沒命花。
“我見你和岳飛相談甚歡，你們到底談了什么？”
趙構還是想知道，以岳飛的性格，很少有人能和他喝的那么盡興，談的那么愉快，李寺到底給他灌了什么迷魂湯。
李寺指著不遠處的石凳說：“我們坐下來說吧。”
雖然外面有些涼，但是坐著總比站著舒服，再說那幾條石凳和石桌在小竹林里面，竹林再稀疏，多多少少也能擋些風。
“我認岳飛做了大哥。”李寺坐下來說道。
“什么？”趙構有些吃驚，因為岳飛最不喜歡拉幫結派，而且李寺不過是個商人，岳飛堂堂軍神怎么會看上他？
“你這什么表情，怎么，我不配當他的小弟嗎？”李寺敬重岳飛，但是在穿越人的面前，就算是軍神，也沒有必勝的把握。
“我是奇怪，你不是無所不能嗎，怎么會甘愿當別人小弟，你有時候連朕都不放在眼里。”
“老趙啊，你就別在我面前裝模作樣了，是誰連下三道圣旨催岳飛出山的？”李寺揶揄道。
“你！”趙構沒了脾氣，論打仗，他確實不如岳飛。
“所以啊，人各所專，打仗岳飛是高手，賺錢我比你倆厲害，當皇帝你是這個！”李寺沖趙構豎起了大拇指。