他們警告說，一旦皇帝去了鄂州、岳州，那么長江以北的盜賊就會趁虛而入，占據整個江南。
武將中，張俊、辛企宗支持遷到鄂岳地區，但他們不是為了西遷四川，他們反而建議皇帝從岳鄂南下長沙。
韓世忠堅決反對“國家已失河北、山東，若又棄江、淮，更有何地！”
文臣武將態度針鋒相對，讓趙構急的一整天都吃不下飯，到了晚上，詔呂頤浩商談。
趙構說，張俊、辛企宗不敢打仗，所以想要退避湖南。趙構又說，金人的強處，在于騎兵犀利，浙西一帶水鄉河渠縱橫，不利于騎兵奔馳，還是不該走，一旦西遷，人心搖動，哪怕到了四川、兩廣恐怕都跟到了敵國一樣危險。
呂頤浩此時也已經被江南官僚說服，就建議皇帝重返杭州，為防止江寧一帶人心搖晃，他請旨守在常州一帶抗敵；趙構卻表示，他身邊不能沒有呂頤浩這樣的宰相。另一個宰相周望也請旨留守平江一帶，說現在北方的李彥仙（不是海州李彥先）、翟興等人，聚攏潰兵群盜都能在洛陽、陜州一帶跟金兵交鋒，他們是宰相，如果連江南都不能死守，有什么臉面見李彥仙這些人。最后文官張守建議，皇帝南下杭州，留開封南來的杜充留守江寧，讓他招撫江北群盜，不允許江北群盜過江。
就這樣，皇帝決定還是按照以前王淵的主張，重返杭州，留杜充守江寧改江寧府為建康府，設建康府路，負責整個長江防線，至于江北的淮河流域，則被徹底放棄了。
其實趙構這幾年一直就這樣，他自己不堅定，沒有主張，文臣態度不一，今年二月才從揚州渡江，到杭州都三月多了，傳來建炎皇帝趙楷在南京被俘的消息，倉促登基后沒幾天，就發生了苗劉兵變，兵變剛剛平息，就又準備西遷，到了江寧卻又被江浙官員攔阻，甚至連一個月安生日子都沒過過。
無論是趙構還是官僚集團，對江北已經完全不抱希望，韓世忠要求守江淮的聲音，根本沒人理會。可無論是皇帝還是官僚，都無法對揚州完全疏忽。因為那里還有一個公主，文官不敢說不顧公主，皇帝也沒法說不要妹妹，哪怕不是親的。
但公主鑾駕被揚州百姓攔阻，楊沂中回去復命后，趙構自己也馬上西遷，一直就沒顧得上處理這件事，九月終于重返杭州之后，他才開始重新提起公主的事情。