這些都增加了南宋官員對歸正人的疑慮與不信任。而不信任感是長期存在于南宋朝廷之中的主流態度。包括朱熹，都直接把歸正人與漢代時的宦官、唐代時的藩鎮視為一類，認為這些人都是造成社會動亂的病根。因此，許多歸正的文官多不被授實職，添差后就將他們分散地安置在各州郡中。
在軍隊中，歸正人受排擠的現象更為嚴重。影響最大的一個是山東李全的“忠義軍”，因為宋對其采取利用與挑撥的策略，使“忠義軍”最終覆滅，名義上歸附宋國的山東全境因此落于蒙古手中。另一個是宋末的劉整，因為受到排擠而投降忽必烈，成為滅宋的一支重要力量
“陛下，如何安置這些歸正人，是否需與朝中眾臣詳議之后再做主張”劉辰翁見小皇帝久久不語，似是十分為難，忍不住出聲道。
“不必，朕以為要厚待這些歸正者”趙昺抬起頭言道。
“陛下，前車之鑒不能忘啊”劉辰翁還是提醒道。
“當前形勢已經大不同，我朝當前雖然尚處于守勢，但是我們的戰略是北伐中原，奪取燕云，將韃子遠逐漠北。因而招納歸正人并非是長久之計，這只是權宜之策，一旦我們收復淮北，進軍中原，只需就地安置便可，又何來歸正一說。”趙昺擺手道。
“陛下所言甚是有理，但臣”劉辰翁聽了點點頭，卻欲言又止。
“須溪先生是擔心北伐失敗，則一切成空，我們仍需重新面對現下的問題，而那時將更為棘手，對否”趙昺笑笑說出了其心中所憂道。
“臣并非擔心陛下北伐中原，收復故土之決心，也非擔心陛下之能。只是事有萬一，若是重蹈先朝覆轍，悔之晚矣”劉辰翁施禮道。
“劉知府勿要過于憂心。要知當下已非當年，如今蒙元喪失江南財賦之地，財政日益困難。且其征戰數十年，兵力折損嚴重，卻難以補充，全靠簽發漢軍支撐，戰斗力亦非從前。而我朝重歸江南，不需數年便會倉廩豐盈，又有數十萬精兵在手，北伐成功指日可待”陳鳳林似乎又忘了陛下的警告，再次插言道。
“陳鎮撫使之言，本官也知不無道理。”劉辰翁頷首道。
“那劉知府還有何擔心此戰我軍只動員了一個師的兵力，便肅清了瓜步鎮之敵，早不是當年其幾百騎兵便能擊潰我們數萬大軍的時候了，只要陛下一聲令下，沿江大軍一舉渡過大江，便能直取汴京，收復舊都”陳鳳林牛皮哄哄地道。