因為趙昺前世就知道在異族入侵后，頭幾年的反抗最為激烈，但在異族的殘酷鎮壓和安撫下這種抵抗心理會隨著時間的延長而不斷的消退，直至心安理得的接受異族統治，忘記了故國，甚至成為異族的幫兇。自然也會被舊主視為叛徒和敵人，而宋朝歷史上這種現象又極為嚴重。
北宋時期，由于石敬瑭出賣了燕云十六州，使得宋初幾次北伐失敗，導致北部邊界維持在舊黃河以北，并沒有完全占據歷史上的漢族舊地，也未將整個中原地區納入自己的統治之下，使得民族出現了分裂。但事情卻不是一成不變的，當幽云十六州的漢人成為遼朝屬民之后，其不僅在性格方面，而且在生活習俗上也開始發生全面的“胡化”，這逐漸導致了宋人對其態度的變化。
在宋人看來，那些生活在“敵境”之中、著“胡服”、用“胡禮”、習“胡俗”的人，于己來說完全是一種異類。他們將處于契丹及以后女真統治下的漢人稱為北人。這是個帶有歧視的稱呼，更將他們視為潛在的敵人，而那些舊遼守將都為漢人，可在宋人的筆下卻全變成了“虜”。有見識的士大夫尚且如此，下層軍民自然更不必說了。
雖如此，待落到實際作法上的時候，宋廷呈現在幽云漢人面前的卻又是另一副面孔。其不僅沒有想辦法去消除宋人對遼朝漢人的排斥心理，減少“漢人”心中的疑慮，卻反而處處體現出不信任的態度，做出許多根本不把幽云漢人當作子民、而是欺壓出賣的事來。
對歸正人的安置去處，無論降附還是自愿歸來的，大致都要送往內地分散安置，目的是防止他們與舊主內外聯絡。但與軍事形勢相比，戰爭的需求更為重要，強調“與漢軍雜處”、“與軍伍錯居”，說的就是編制上的參錯。而小規模集中編伍顯然有便于控制的考慮，因此歸附人以所部小規模編伍自相統屬，便于作戰時充分發揮其騎射優勢，是利用與控制相得益彰。
不僅如此，在幽云十六州的漢人進入宋境后，北宋朝廷也沒有采取任何有效的措施避免宋人對其的歧視排擠，“州郡又往往不恤。或困于衣食，其在關下者，至于揭榜通衢人物往來處，稱其名氏，舊官封而已乞丐，執政雖睹之不問也。”
而“而燕云兩路官吏散處中國，其嘯聚之民，并引處內地，中國之民，日夜疑之，而官吏亦不復以禮待遇，兩相忿恨，數至喧爭。”這使幽云漢人和宋人的矛盾日益尖銳，直至引發金宋戰爭時期的巨大變故。可以說，北宋朝廷在進入幽云后所做的一系列蠢事，使幽云十六州的漢人對其大為失望，這其中不僅包括一時的政策錯誤，而且也是宋人對幽云漢人的長期偏見導致的結果。
在軍隊中，歸正人受排擠的現象更為嚴重。相反金朝對宋開戰后，卻在劉彥宗等漢人的指點下采取了正確的決策，“金人已得燕，則鹽法盡仍舊，常勝軍屋業田土，盡給前主，燕人歸心焉。”兩下相較，幽云漢人之心會歸附于誰，已經是一看便知的事了。
南渡之后，歷史上南北分裂造成的相互不信任和歧視現象不斷更為嚴重，而一些偶發事件則加深了兩者間的矛盾。而不信任感是長期存在于南宋朝廷之中的主流態度。包括朱熹，都直接把歸正人與漢代時的宦官、唐代時的藩鎮視為一類，認為這些人都是造成社會動亂的病根。因此，許多歸正的文官多不被授實職，添差后就將他們分散地安置在各州郡中。