除了契丹軍隊，女真軍隊面對南方地區的濕熱，有時也會出現不適應。南宋建炎南渡時，在選擇統治中心的時候有臨安和建康之爭。最終，臨安派占據了上風，就是考慮了女真軍隊難熬夏天高溫的情況。此外自古以來守江必守淮，但是隨著氣候的干冷，淮河的結冰期和枯水期都開始提前。
作為生活在白山黑水寒冷地區的女真人更喜歡選擇天氣涼爽的時候出兵。建炎三年時，女真人是在正月出兵，連下楚州、泗州，最后南下揚州，嚇得宋高宗緊忙南下渡江。金人在沒有抓到宋高宗后，改為大肆掠奪屠殺，把好好的一個繁華揚州，弄得“士民存者僅數千人”。而在三月，女真軍隊掠奪一番后，就開始撤兵回淮北。在南宋和金和蒙元政權在淮南對峙的時候淮南的雨季不光對女真會造成麻煩，且對南宋軍隊也會造成麻煩。
反正總的來說，天冷和天熱都會對古代軍隊的行軍作戰造成很大影響，但是如果準備充分的話，寒冷還是好克服的。比如三峰山之戰，蒙古軍就準備了大量的物資來應對天寒，從而擊敗了金軍。可是天熱這事就不好辦了。比如后來的忽必烈滅宋之戰，元軍在襄陽已經于三月投降的情況下，一直天熱而與宋軍膠著，一直到了八九十月才取得了較大進展。所以趙昺仍覺得此時應是蒙元動兵的最好時機，其按兵不動可能是另有原因
由于致遠堂先天不足，改造的空間不大，而趙昺又將此作為主要的辦公場所和住所。他不但在此處理公務，也成為后妃們經常出入的地方，如此一來外臣覲見則多有不便。夏季尚可在冷泉堂，但冬季就不行了，于是趙昺令人在致遠堂東側新建了一座二層暖閣作為辦公場所，兩地并以廊道相連，往來也十分方便。
“陛下，臣以為蒙元遲遲不肯過江，應是有所發現，因此已然放棄了對江南用兵的企圖”應詔而來的眾臣見禮落座后，陳任翁對于陛下提出的問題直截了當地回答道。
“陳尚書以為戰機已失，沒有必要在備戰了嗎”趙昺聽了皺皺眉言道，他明白其雖說的隱晦，但意思是己方戰略意圖已經暴露，因此沒有必要再徒費兵力和財力。
“臣前些日子曾奉命出京撫軍，視察了前線各部。發現在昆山一帶備戰設伏的官兵生存環境十分惡劣，他們出營在野外駐扎，為了不暴露目標不能大規模的扎營，只能散于荒野之中。靠近前線的部隊更是艱苦，他們為了隱蔽不能生活做飯，也不敢舉火取暖，只能忍饑受凍，體力消耗很大。另外內遷的百姓也是怨聲載道，他們離家日久，思鄉情切，有些人甚至偷偷返鄉。現在天氣愈加寒冷，風雪交加露宿于野外，傷病者將日甚增加，臣以為再耗下去已無必要，不若命眾軍歸營。”陳任翁誠懇地言道。
“陛下，臣以為陳尚書所言甚是。”這時兵部水軍司郎中呂師文接言道，“臣受命前往第一水軍處巡查，他們當下避之江口外海待命，他們已經在海上漂泊兩月有余，未能靠港休整，且補給也十分困難。而季風將至，風暴日趨頻繁，船隊長期逗留海上，風險也日益增加。”
“你們兵部的意見是要放棄此次戰役”趙昺看向兵部諸將問道，見他們皆點頭稱是，又扭臉問韓振，“樞密院是否也同意兵部的意見”
“陛下，臣對兵部放棄此戰有異議”韓振施禮明確地道。
“哦，請講”趙昺面色沒有絲毫波動地道，他知道自己要充分聽取各方面的意見，卻不能表露自己的態度，而影響到他人的想法。