但此時女真貴族也因連年用兵，師老無功，導致了統治集團的內部相互殘殺。掌握金國實權的撻懶一派，廢除了劉豫傀儡政權，對南宋政權使用了“以和議佐攻戰”的策略，誘降趙構，宋金出現了對峙局面。如此一來東起淮水、西至秦嶺的南宋半壁江山開始穩定下來，高宗派劉光世、韓世忠在建康、鎮江置帥府，屯兵十萬，加強了江淮一帶軍事防御力量。
趙構不顧大臣的反對，從建康前線返回臨安后，也采用了“御外必先安內”的方針，調集岳飛等精兵鎮壓了楊么等農民起義。這樣，南宋趙構統治集團在重重矛盾中初步穩定了它的統治。這是高宗第三次駐蹕臨安，就在這一年正式以臨安為“行在所”，最后定都臨安。因為山河破碎，國恥未雪，愛國志士，總是未能忘情于收復中原，統一祖國的大業。終南宋之世的一百多年，大臣中時有移蹕建康之議。
陸游在孝宗隆興元年上二府論都邑札子大聲疾呼“某聞江左自吳以來，未有舍建康他都者，吳嘗都武昌，梁嘗都荊渚，南唐嘗都洪州今南昌市，當時為計，必以建康距江不遠，故求深固為地。然皆成而復毀，居而復徙，甚至遂至于敗亡。相公以為此何者天地造設，山川形勢有不可易者也。車駕駐蹕臨安，處于權宜，本非定都；以形勢則不固，以饋餉則不便，海道逼近，凜然常有意外之憂。”
陳亮也在淳熙五年上孝宗皇帝第一書指出定都臨安，弊病為多。他說“夫吳蜀，天地之偏氣也；錢塘，又吳之一隅也。當唐之衰，而錢镠以閭巷之雄起王其地，自以不能獨立，常朝事中國以為重。及我宋受命，俶以其家人京師而自獻其土。故錢塘終始五代被兵最少，而二百年之間，人物日以繁盛，遂甲于東南，及建炎、紹興之間，為六飛所駐之地，當時論者固已疑其不可以張形勢而事恢復也。”
“士大夫又從而治園囿臺榭以樂其生于干戈之余，上下宴安，而錢塘為樂國矣。一隙之地，本不足以容萬乘，而鎮壓且五十年，山川之氣蓋亦發泄而無余矣。故谷栗桑麻絲枲之利歲耗于一歲，禽獸魚鱉草木之生日微于一日，而上下不以為異地。公將卿相大抵多江、浙、閩、蜀之人，而人才亦日以凡下；場屋之士以十萬數，而文墨小異已足以稱雄于其間矣。陛下據錢塘已耗之氣，用閩浙日衰之士，而欲鼓東南習安脆弱之眾，北向以爭中原，臣是以知其難也。”
呂祉給宋廷上東南防守利便，特著“建康根本論”、“江流上下論”、“江淮表里論”三論，建議立都建康以為興王之基；屯兵江陵、襄陽、武昌、九江以固上下游之勢；守江以治內，備淮以治外，表淮而里江，如此則中原可復。山東和荊襄猶如東南的兩翼，屏護著整個江淮防御體系。山東足以屏護淮泗上游，荊襄足以屏護江漢上游。前人曾言“欲固東南者，必爭江漢；欲窺中原者，必得淮泗。有江漢而無淮泗，國必弱；有淮泗而無江漢之上游，國必危。”北據山東以固淮泗上游，西保荊襄以固長江上游，是為保據東南者的最好態勢
“唉，自己就是個背鍋的”現在不僅生米做成了熟飯，連鍋都砸了，趙昺不但要替幾位祖宗收拾爛攤子，還得設法不讓他們曝尸荒野，不是背鍋俠是什么。可想想他們吃喝玩樂一輩子，把腿兒一蹬嘛也沒給自己留下，把他們的墳刨兩下也沒啥了不起的，而自己心里也好受了些。
趙昺現在琢磨了幾天，自己是以護陵為名出兵，那必然要攻紹興，但是杭州駐有重兵，兩城相距不足二百里，騎兵增援星夜可至。所以這一仗要保紹興必要殲滅杭州之敵，據險固守獲得立足點，以保證皇陵的安全，否則他前腳走，后腳還得讓給刨了。
不過紹興周邊雖有小山，但是要想憑此拒敵并不容易，且容易為敵所困。而周邊的城池在蒙元侵入江南后便大肆拆毀城墻，皆被夷為平地。根據各路情報反饋，趙昺發現唯一可利用的似乎只有杭州城，不知道是因為城墻修的太堅固，拆起來費勁，還是因為忽必烈為了收買人心，杭州城墻只有局地被毀損，大部分被保留了下來。