趙昺并非不愿大舉北伐，一戰而定天下，但也有諸多的不得已。這不僅是他獨自的看法，朝中不少大臣與有識之士皆認為時機未至，每當形勢緊張時，應節嚴甚至幾次入宮勸他不可輕信人言，萬勿輕舉妄動，千萬不可因一時之氣而冒險。而他也非糊涂之人，深知其中的危險，當前非是北伐之時。
首先從政治上看，自收復江南之后，趙昺對叛官和附敵者進行了大規模的鎮壓行動，其中不乏士人階層。使得江南士人階層認為他太過殘暴，苛待士人，從而心生不滿。接著便是陳宜中謀逆案，又有一大批江南士人被鎮壓，還牽扯到行朝中的一部分官員。其后又借與吳家大婚對江南官僚世家進行了打壓，導致江南士人對他十分憤恨。
所以說現在江南政治局面看似風平浪靜，但卻危機四伏。而在回復江南后，經歷多年戰亂的百姓也是民心思定，不愿意發動大規模戰爭。在這種險惡的政治環境里，戰爭怎么打戰爭離不開政治。面對這種險惡的政治局面，戰爭還怎么繼續
再就是經濟上的考慮，戰爭是要有經濟保障的。“十萬之師，日費千金。”“軍無輜重則亡，無糧食則亡，無委積則亡。”經濟困難也是難以展開大規模軍事行動的一個極重要原因。
當前軍隊的開支是大頭，現下禁軍兵力有四十萬之眾，按照每人每人給糧三升，伙食錢五十文計算，就需要糧食一萬兩千石，以時價每石八百文計算，兩項合計就達到近三萬貫，這個數目只多不少，因為軍官和水軍的伙食費還要高于普通士兵，僅此一項每年就達到一千一百萬貫。
再一個是穿衣和裝備，當兵的總不能光著屁股空著手上戰場吧裝備不必年年更換可以另算，但每人夏冬各兩套軍服，還有靴帽是不能少的，即便每套保守的算也要五貫錢左右，一年就是八百萬貫。武器雖然不用年年更新，但是訓練也要有損耗，需要時時維護，消耗彈藥，也是一筆不小的開支。
此外就是官兵的薪酬，現在實行的是募兵制，是要給工資的。考慮到當前的生活水平，一個三口之家月需六貫才能維持生活，所以趙昺將新入伍的士兵薪酬定為每月六貫，隨著其服役年限的增加，到七年退役時最高可得十二貫。而軍官也會隨著職務的晉升而增加，最低的隊正起薪是十貫，而最高的樞密使可達三百貫，所以每年薪酬開支最少也要四百萬貫。
但是這些僅僅是最基本的開支，每逢重大節日和國家大事要賞賜，作戰要有戰時補貼。受傷、犧牲要有撫恤，退役要給補助金。而這些僅僅是人頭費，每年的開支就達到二千萬貫之多。另外武器和裝備更新也是大頭，且需要進行儲備，以備戰時損耗。今年還沒有過完，趙昺投入到軍器監的錢就已經超過五百萬貫。
除禁軍之外，還有廂軍近二十萬，他們的待遇和武器裝備上雖然要少于禁軍，但也不是個小數目。為了防止泉州軍背國投元的事件重演，趙昺也將廂軍所需列為由朝廷供給，而不是由駐地州府負擔，每年也需要費用在千萬貫左右。
所以當前就是維持這樣規模的軍隊，每年朝廷花費就要在四千萬貫左右。而有的人會說，反正閑著也會花費這么多錢，何不出兵征戰，無非在此基礎上再加糧草運輸費用主要是征調民夫和牲畜的費用和犒軍賞錢，說不定還能賺上一筆。