對“歸正人”搖擺不定的政策，也引發大量歸正人的不滿，這種不滿從孝宗朝開始發酵，到后來越發嚴重，南宋軍隊尤其是前線最具戰斗力的部隊中，由于歸正人的比例逐年增加，使軍隊的管理出現隱患。一方面是這些北軍飽受排擠，另一方面是南宋正軍在數量上不占優勢，使軍隊內部管理失控。這使得南宋不斷的失去北地民心，不僅徹底斷送了南宋北定中原的可能，也成為南宋滅亡的一個重要原因
俗話說樹有根，水有源。什么事情的都不是平白無故發生的，總是要有個緣由的，趙昺作為一個后世來人，自然有回望歷史的機會，就可以發現一道清晰的發展脈絡，而絕不僅僅是厭惡和不信任那么簡單，卻是一場大宋朝堂之上，地方之下，南人和北人，文臣和武將延續百年政治大戲。
在趙昺看來南北之間的矛盾究其根源，首先還是錢的事兒，然后才是人的事兒，最后便是權力的事情
宋朝建立之初，北方久經戰亂，經濟蕭條；而南方受戰爭的波及要小一些，且江南已經是富庶之地，即便云南、貴州及嶺南地區也得到漸次的開發，形成了經濟上南強北弱的形勢。但建立宋政權的卻是以北方人群體，在政治上南方人自然就處于弱勢。
而隨后爆發的新舊黨爭，隱隱地就在南北地域上有了大分野。新黨大多為南方人如王安石、章惇、呂惠卿、曾布；舊黨代表人物如司馬光、程顥、程頤、劉摯、韓琦等。而司馬光批評王安石變法的理由之一居然是南人不可當政，曾輕言“閩人狡險，楚人輕易，今二相皆閩人，二參政皆楚人，必將引鄉黨之士，天下風俗，何由得更淳厚”換言之某種意義上這是朝堂里的南北人地域歧視的公開化
到了南宋，南人和北人的矛盾更厲害了，非但大儒朱熹瞧不起北方人，很多南方士大夫在詩文隨筆里也多有批評北人粗魯愚蠢。打開宋史，放眼你看奸臣傳幾乎全是南方人，趙昺當時就就覺得很有意思了。宋朝自靖康之變，南渡之后，長期以來面臨女真金朝、蒙元這樣的強敵，隨時面臨著亡國之危，如此選擇抵抗到底的以戰止戰策略，還是外交談和，一直是朝廷內部的主要論戰，進而影響到文武關系。
在南渡之初的時候，因為高宗趙構身邊的軍隊有限，又面臨金軍南下的侵襲，因此不得不注意安撫和招徠這些歸正人作為基層軍隊的補充。而北人多屬武人，沙場宿將，志在恢復自己的家園，自然是主戰；而出身自經濟發達、社會繁榮背景的南方人，經由科舉入仕，多著眼于穩定江南政局，對戰爭并無勝算，贊成偏安、堅持一力主和。
在趙昺看來，正是南北人自身考量的不同，便有了有不同的立場與觀點，由此而衍生出對生存與發展、現實與理想、偏安與恢復等不同的看法。而認知差異和南北地域問題及文武問題糾結在一起，又對政治環境產生了影響。而南北人對政治環境、宋金、宋蒙關系既種使得問題更為復雜。
宋廷遷都臨安也是更有利于老家是福建路、浙西路、浙東路的士大夫，于是南人主政北人主軍的局面逐步固定下來。尤其在重文輕武的國策下，由科舉入仕的南方文人占優勢之政治環境中，對從北方來的人而言，自然筑起一道智力防波堤，用人取舍之間，南北便有親疏內外的不同，就容易產生政治生態失衡的現象，形成政爭，為他們日后的混戰埋下了隱患。