不過趙昺反而并不心急了，他意識到這不僅僅是軍改的問題，卻是涉及到改變大宋三百年的國策，挑戰了士人的地位，絕非一朝一夕就可以改變的。而當下武人式微，想指著他們一力翻盤只有來場血腥的清洗，只是又會觸及大宋的統治基礎，以他自己現在的能力是難以完成治理國家的重任，且也不想出現一家獨大的局面。
經過這么長時間的接觸，趙昺清楚武人的日子實在不好混，文官跟武將就是天生的敵人，如果文官的活干好了，武將就沒什么事，也撈不到好處，而如果武將立功了，則說明文官是一群廢物造成了民不聊生生靈涂炭。所以文官通常會說武將的壞話，極力壓制武將。
但武人首先也是個人，也有血有肉，可沒人重視，且被文官們排擠。好不容易出現幾位名將，卻都難得善終，不是沉溺于酒色逃避，便是憋屈死，甚至死于牢獄。而統治者呢，一般也會更愿意跟文官親近，因為文官聽話好管理，萬一武將造反，這事是最難辦的。所以就重文抑武，用文官來節制武將。
武將天然就比文官矮半截，本來就不對付，如此還得服從政治敵人的領導，結果可想而知。而武人在這種政治環境下也將當兵吃糧只是當成了一種生存手段而已，以致戰事一起，只要糧餉接濟不上，戰斗的結果往往就是一觸即潰，仗還沒打呢，軍隊就散伙了。
軍官的素質同樣也不敢恭維，很多都是萌蔭入伍，因為祖上當官所以也就當上了官，但才能跟祖輩卻差的遠了，有的甚至連手下多少兵，多少船，多少給養都算不清。所以根本沒法打仗，這就是典型御敵無方，擾民有數，不光在大宋朝，放眼整個歷史，中國的軍隊絕大多數時間都是這樣的一個角色。吃老百姓喝老百姓最后還騷擾老百姓，一遇到事，跑的比老百姓還快。
若想改變這種狀況，趙昺以為還是需要軍改，怎么也得讓人家有個奔頭，明白為何當兵吃糧，為誰犧牲賣命。而據說文天祥卻是力主提高武人的地位，這也可能是受其曾領兵在一線作戰的緣故，而他覺著老頭兒一直壓著未辦就料到了會出現此種情況，因此才一直等到征北軍回朝。有其加入則己方便占據了優勢，而他只需待正反兩方爭執不下的時候，再出面召開朝議，來個一錘定音。
到了五月，春播的稻子已經收獲，移民們開墾的田地也撒下了種子，三個月后便能收獲第二季糧食，就能填補上因為安置移民留下的虧空。而由于瓊州水軍攔截斡脫商人出洋的商船，沒收他們的貨物，導致瓊州一些商品過剩，趙昺將這些貨物推向市場，吸引了不少藩夷商船的到來，另外一些頗有家資的移民也看出了商機，紛紛買船出洋，加入洋商的行列。
另外由于征北軍的一番騷擾，外加元水軍無力與宋水軍爭奪控海權。阿里海牙在收復失地后，向忽必烈報捷的同時，建議鎮南王歡脫采取封海之策，將沿海三十里之內的居民內遷，只派駐重兵鎮守沿海州府，防止宋軍再次犯境，并以此隔斷內地百姓和瓊州的聯系，這引起了朝臣們的擔憂，不過趙昺卻不那么悲觀。
禁海之策在趙昺看來同樣是把雙刃劍，在隔斷內陸與瓊州聯系的同時，也等于讓出了沿海大片土地的控制權，即便其在沿海州縣布置了重兵，但是其根本無法看顧到漫長的海岸線，也無法修筑一道沿海長城徹底隔離與瓊州的聯系，反而會在兩廣沿海形成一道寬度達三十里的權力真空地帶。
依照現代的劃分，宋朝雖然丟掉了大片國土，首都被攻破。可中央還在，首腦尚存，即使只剩下海外一隅，按理也不能稱為亡國，只是分為國統區和淪陷區。不過這兩個區并非能被嚴密隔離的地域，中間會穿插著無數走私犯出沒的路線，它們將通過盜匪和走私者的中轉市場將這兩個區域互相緊密連接起來。