在軍隊中，歸正人受排擠的現象更為嚴重。相反金朝對宋開戰后，卻在劉彥宗等漢人的指點下采取了正確的決策，“金人已得燕，則鹽法盡仍舊，常勝軍屋業田土，盡給前主，燕人歸心焉。”兩下相較，幽云漢人之心會歸附于誰，已經是一看便知的事了。
南渡之后，歷史上南北分裂造成的相互不信任和歧視現象不斷更為嚴重，而一些偶發事件則加深了兩者間的矛盾。而不信任感是長期存在于南宋朝廷之中的主流態度。包括朱熹，都直接把歸正人與漢代時的宦官、唐代時的藩鎮視為一類，認為這些人都是造成社會動亂的病根。因此，許多歸正的文官多不被授實職，添差后就將他們分散地安置在各州郡中。
對“歸正人”搖擺不定的政策，也引發大量歸正人的不滿，這種不滿從孝宗朝開始發酵，到后來越發嚴重，南宋軍隊尤其是前線最具戰斗力的部隊中，由于歸正人的比例逐年增加，使軍隊的管理出現隱患。一方面是這些北軍飽受排擠，另一方面是南宋正軍在數量上不占優勢，使軍隊內部管理失控。這使得南宋不斷的失去北地民心，不僅徹底斷送了南宋北定中原的可能，也成為南宋滅亡的一個重要原因
俗話說樹有根，水有源。什么事情的都不是平白無故發生的，總是要有個緣由的，趙昺作為一個后世來人，自然有回望歷史的機會，就可以發現一道清晰的發展脈絡，而絕不僅僅是厭惡和不信任那么簡單，卻是一場大宋朝堂之上，地方之下，南人和北人，文臣和武將延續百年政治大戲。
在趙昺看來南北之間的矛盾究其根源，首先還是錢的事兒，然后才是人的事兒，最后便是權力的事情
宋朝建立之初，北方久經戰亂，經濟蕭條；而南方受戰爭的波及要小一些，且江南已經是富庶之地，即便云南、貴州及嶺南地區也得到漸次的開發，形成了經濟上南強北弱的形勢。但建立宋政權的卻是以北方人群體，在政治上南方人自然就處于弱勢。
而隨后爆發的新舊黨爭，隱隱地就在南北地域上有了大分野。新黨大多為南方人如王安石、章惇、呂惠卿、曾布；舊黨代表人物如司馬光、程顥、程頤、劉摯、韓琦等。而司馬光批評王安石變法的理由之一居然是南人不可當政，曾輕言“閩人狡險，楚人輕易，今二相皆閩人，二參政皆楚人，必將引鄉黨之士，天下風俗，何由得更淳厚”換言之某種意義上這是朝堂里的南北人地域歧視的公開化
到了南宋，南人和北人的矛盾更厲害了，非但大儒朱熹瞧不起北方人，很多南方士大夫在詩文隨筆里也多有批評北人粗魯愚蠢。打開宋史，放眼你看奸臣傳幾乎全是南方人，趙昺當時就就覺得很有意思了。宋朝自靖康之變，南渡之后，長期以來面臨女真金朝、蒙元這樣的強敵，隨時面臨著亡國之危，如此選擇抵抗到底的以戰止戰策略，還是外交談和，一直是朝廷內部的主要論戰，進而影響到文武關系。
在南渡之初的時候，因為高宗趙構身邊的軍隊有限，又面臨金軍南下的侵襲，因此不得不注意安撫和招徠這些歸正人作為基層軍隊的補充。而北人多屬武人，沙場宿將，志在恢復自己的家園，自然是主戰；而出身自經濟發達、社會繁榮背景的南方人，經由科舉入仕，多著眼于穩定江南政局，對戰爭并無勝算，贊成偏安、堅持一力主和。