趙昺聽了劉辰翁的話后陷入了沉思，他現下已經明白安置歸正人不僅僅是一個政策問題，且是一個牽一發而動全局的難題，同時也是一把雙刃劍，弄不好反而會傷到自身。而即便在前世，現代移民也是令各國十分頭疼的事情，畢竟人到了哪里都面臨著生存問題，而大量移民的涌入還會涉及到國家安全。
在分析了當前宋朝實施的移民政策后，趙昺也發現其中透露出了歷代祖宗的無奈和矛盾心理。宋朝因為失去了地理上的庇護，外患始終是揮之不去的夢魘，而國家安全受到的外來威脅主要來自遼、夏、金、元。契丹給北宋造成的亡國威脅遠大于西夏，而西夏給北宋造成的國防壓力則遠甚于契丹。金不僅亡了北宋，而且長期對南宋國家安全造成嚴重威脅。元則最終滅了南宋。相比之下，西南少數民族對宋朝國家安全構不成威脅。
這種差別導致宋朝對它們采取了不同策略。對西南少數民族，宋朝“禽獸畜之，務在羈縻，不深治也”。對西北諸政權，則以勁敵待之，積極防御，不輕易主動發動戰爭，爭取、維持和平局面。兩種策略雖然都務在保持邊疆穩定，但在實施過程中，宋朝于前者表現出很大的主動性，于后者則受制于西北諸政權，極為被動。宋朝對歸明、歸朝、歸正人政策的諸多差別實源于此。
宋朝自建國后，一直想收復，但礙于契丹武力強盛，長期不能如愿。澶淵之盟雖確立了宋遼長期的和平局面，但在國防上，北宋被動的地位一直未能改變，及時掌握遼在燕云地區的動向，就顯得特別重要，而燕云歸朝人可在其中發揮重要作用。
如此一來，與歸朝、歸正人相比，尤其是在對待西北歸明人上，在田宅、職田等方面享受更優厚的待遇，實則是為了吸引更多的歸明人，雖然神宗曾說“中國人固多，誠不賴夏人”，但歸明人對宋朝國防具有其他來歸之人不可替代的作用。但宋朝對西北歸明人的招誘、接納基本上被限制在戰爭期間，而對西南歸明人的接納則不存在受制于人的問題。而在吸收了大量移民后，宋廷獲得了實惠的同時，也背上了沉重的負擔。
在安置“歸正人”的過程中，宋廷對于每一類人群都有其相應的政策，這些政策對于“歸正人”來說是非常優厚的。但是，“歸正人”優厚的待遇，不僅帶給了南宋政府極大的財政負擔，同時也激起了南方本地勢力的不滿。而政府在處理這類矛盾時，似乎并沒有太多好的辦法，他們一方面優待“歸正人”，一方面又不信任“歸正人”，甚至會迫于金朝的壓力遣返“歸正人”。
如此造成了“歸正人”在社會上的尷尬地位，也激起了“歸正人”的怨恨之心。當主戰派在朝廷上得勢的時候，南宋就會想盡一切辦法收納、誘使北人南遷，并給予最大的物資支持。當主守派得勢的時候，歸正人就會陷入很尷尬的局面，甚至有時面臨被遣返的下場，這些被迫北返的歸正人，飽受報復與歧視，生活常陷于絕境，必然會使這個群體對宋生產了嚴重的怨恨。
與此同時，在宋朝官冗、財政危機局面形成及日趨嚴重的過程中，歸明、歸朝、歸正人起到了推波助瀾作用。鑒于此，宋朝雖然總體上對他們采取了優待政策，但迫于壓力，只能根據國家安全形勢及其所起作用的變化，在已有優待政策基礎上，進行適當調整，限制優待對象，降低優待標準，以緩解冗官、冗費和財政危機的壓力。
朝野中也對移民問題爭論不休。支持者認為，對歸正人的態度，顯示著宋王朝的“正統”，是收攬中原人心、爭奪中原人才的一個必要舉措。同時可以增加人口與耕地面積，可以補充軍隊兵員，還可以了解敵國的內部情況與動向。因此，不僅不能拒絕，還要重金招納。
反對者認為，這些南遷的歸正人是敵國的設下的毒計，利用這些流民來蠶食宋國。一方面，南遷官員眾多，使南宋冗官現象非常嚴重，給國家帶來巨大的負擔。另一方面，本來土地有限，蜂擁而入的歸正人侵占了宋人的土地，又增加了東南民眾的生存壓力，把原來的良民逼成“盜賊”。
還有在宋軍中，尤其是前線最具戰斗力的部隊中，由于歸正人的比例逐年增加，使軍隊的管理出現隱患。端平年間，襄陽、唐州、鄧州、黃陂等地北軍相繼發動叛亂。一方面是這些北軍飽受排擠，另一方面是宋正軍在數量上不占優勢，使軍隊內部管理失控。
事實上的確米倉中會混有幾粒老鼠屎，大量的歸正人之中，其中投機者不少。有些偽造履歷以騙取南宋的官職，或不斷地索要官職差遣讓南宋朝廷疲于應付。有些歸正人官員在地方上作威作福，仗勢欺人，敗壞吏治，還有一些是金國人安插的奸細，或竊取情報或從事破壞活動。