朝野中也對移民問題爭論不休。支持者認為，對歸正人的態度，顯示著宋王朝的“正統”，是收攬中原人心、爭奪中原人才的一個必要舉措。同時可以增加人口與耕地面積，可以補充軍隊兵員，還可以了解敵國的內部情況與動向。因此，不僅不能拒絕，還要重金招納。
反對者認為，這些南遷的歸正人是敵國的設下的毒計，利用這些流民來蠶食宋國。一方面，南遷官員眾多，使南宋冗官現象非常嚴重，給國家帶來巨大的負擔。另一方面，本來土地有限，蜂擁而入的歸正人侵占了宋人的土地，又增加了東南民眾的生存壓力，把原來的良民逼成“盜賊”。
還有在宋軍中，尤其是前線最具戰斗力的部隊中，由于歸正人的比例逐年增加，使軍隊的管理出現隱患。端平年間，襄陽、唐州、鄧州、黃陂等地北軍相繼發動叛亂。一方面是這些北軍飽受排擠，另一方面是宋正軍在數量上不占優勢，使軍隊內部管理失控。
事實上的確米倉中會混有幾粒老鼠屎，大量的歸正人之中，其中投機者不少。有些偽造履歷以騙取南宋的官職，或不斷地索要官職差遣讓南宋朝廷疲于應付。有些歸正人官員在地方上作威作福，仗勢欺人，敗壞吏治，還有一些是金國人安插的奸細，或竊取情報或從事破壞活動。
這些都增加了南宋官員對歸正人的疑慮與不信任。而不信任感是長期存在于南宋朝廷之中的主流態度。包括朱熹，都直接把歸正人與漢代時的宦官、唐代時的藩鎮視為一類，認為這些人都是造成社會動亂的病根。因此，許多歸正的文官多不被授實職，添差后就將他們分散地安置在各州郡中。
在軍隊中，歸正人受排擠的現象更為嚴重。影響最大的一個是山東李全的“忠義軍”，因為宋對其采取利用與挑撥的策略，使“忠義軍”最終覆滅，名義上歸附宋國的山東全境因此落于蒙古手中。另一個是宋末的劉整，因為受到排擠而投降忽必烈，成為滅宋的一支重要力量
“陛下，如何安置這些歸正人，是否需與朝中眾臣詳議之后再做主張”劉辰翁見小皇帝久久不語，似是十分為難，忍不住出聲道。
“不必，朕以為要厚待這些歸正者”趙昺抬起頭言道。
“陛下，前車之鑒不能忘啊”劉辰翁還是提醒道。
“當前形勢已經大不同，我朝當前雖然尚處于守勢，但是我們的戰略是北伐中原，奪取燕云，將韃子遠逐漠北。因而招納歸正人并非是長久之計，這只是權宜之策，一旦我們收復淮北，進軍中原，只需就地安置便可，又何來歸正一說。”趙昺擺手道。
“陛下所言甚是有理，但臣”劉辰翁聽了點點頭，卻欲言又止。
“須溪先生是擔心北伐失敗，則一切成空，我們仍需重新面對現下的問題，而那時將更為棘手，對否”趙昺笑笑說出了其心中所憂道。