為了小朝廷的生存和發展，也為了爭奪政治利益，和戰問題就不單單是政見之爭，更上升為人事恩怨和所謂的南北人問題，而經濟上南強北弱，政治上南方人掌握了南宋政壇，北方人大多流離失所且多為武將。所以你看在北宋時的北人和南人在軍事與政治所居的地位差異明顯，因此南宋時代形成北人主軍、南人主政的政治形態。
從南宋開國以來，幾次重大的事件，岳飛之死、苗傅、劉正彥、酈瓊之叛及曲端的被殺，孟珙的抑郁而終，固然各有不同的原因，然而南北地域情結似乎也有相當的關聯性。趙昺只看岳飛的出身和經歷，便知對北人的招撫正是觸動了南人大臣和皇帝的心結，招降納叛往往是地方圖謀不軌的先兆，都毫無例外地涉及到南人主將、文官和北人武將的錯綜復雜的矛盾。
南渡之初，宋廷隨時面臨著滅亡，可以說正是用人之際。對歸正人，南宋除發放賑濟錢糧，分配土地、耕牛、種子進行安置外，將男丁收入軍中更是安置歸正人的常規做法。趙昺最為崇拜的岳家軍，他們之所以能讓金軍聞風喪膽，很大程度上是離不開北方歸正人的不斷加入和后方策應的，其隊伍中的猛將牛皋、董先都是歸正人，甚至在宋金開始和議時，岳飛仍派人持蠟丸、賞金到北方招誘中原好漢。
然而正是基于對岳飛等武將的猜忌，朝臣和趙構對北人來歸的也逐步加強了警惕。特別是在紹興和議簽訂之后，為了防止授金朝南侵的借口，高宗在遣返新歸正人的同時，嚴禁邊將收納渡淮而來的北方人。甚至是直接發布文書，告誡岳飛等將領，不得招納北方來歸的人民。可每當宋金出現軍事對峙的緊張形勢時，就又會再次派遣邊境的官員招募北人投奔，厚加賞賜。
在趙昺看來，在對待歸正人的問題上，無論的皇帝，還是那些掌政的南方文臣滿滿的皆是卸磨殺驢的套路，并已經定型，以致從意識形態和行為上都表露無遺。在此后蒙古南下滅金，中原干戈四起一時間很多金朝境內的將領、平民大舉南下進入宋境內，成為了新的歸正人。在這批人里很多人因為卓越的戰功成長為南宋的方面大員，軍隊悍將。
劉整在金亂之際投宋隸屬孟珙麾下，信陽戰役中“整為前鋒，夜縱驍勇十二人，渡塹登城，襲擒其守”，孟珙贊其“賽存孝”，后累遷至潼川安撫使、知瀘州事；姜才年少時被掠到河朔，后逃回南宋“隸淮南兵中，以善戰名”，在淮西地區配合名將李庭芝抗擊元軍的戰斗中寧死不降。
還有趙昺熟知，并共事多年的張世杰原在元將張柔軍中，畏罪投宋后屢立戰功。按照劇本元軍攻至臨安附近時，其應率軍勤王，力戰不降直到崖山海戰身死，本可成為宋末三杰之一。但是由于他橫插了一杠子，其還活的好好的，不過他對其也是不薄，這么多年來一直官居樞密使，也算是位極人臣了。
宋與蒙古的最初交鋒中，正是從北方招募的歸正人極大地遏制了強大的蒙古鐵騎，但趙昺站在歷史公正的立場上講，在戰爭激烈的時期，南宋整體對北軍的薪餉待遇都是一流的，甚至要優于南軍。可隨著時光流逝，卻造成南軍官兵的不滿，南軍不服北軍的好待遇，也要分一杯羹。
應當說，于是問題來了，著名的山東紅襖軍首領李全等人就一度因為南宋的猜忌游走金、蒙古之間，給南宋兩淮防御造成了嚴重損害，甚至讓一度居于優勢的南宋連連敗北，可謂血的教訓。比李全更為倒霉的則是劉整。賈似道控制了朝政后，推行“打算法”，目標是以整治軍中的貪污腐敗為幌子，借機打擊那些功勞卓著、不尊重賈似道權威的將帥。