隨著宗室人口日漸擴大，到了神宗時期已經在汴梁非常明顯。皇子皇孫、宗室遍布，一不留神打個噴嚏都能噴到一位宗室臉上，經常引起各種事務糾紛。因為，太祖、太宗、秦王三宗后人都進入宗室，因此，皇帝、宗室官員、大臣你怎么處理都不合適。
因此，從宋神宗時期，宗室政策放松，便開始允許太祖、太宗、秦王趙廷美的后代離開東京到外地居住。遠屬宗親遷居于外，但朝廷對此仍保持相當的謹慎態度，加上長期以來宗室過度依賴政府，極少選擇居住外地州縣，因此宗室主要還是散處于開封附近。
因此時間一長，京外的宗室成員也就需要管理了。徽宗在崇寧元年設立了西外宗正寺、南外宗正司。它的主要職能是執掌地方宗室事務，但如果遇到重要事件，外宗正司還是需通過在大宗正司向皇帝呈報處理。同時，蔡京建議將太祖子孫遷往南京應天府、趙廷美的子孫遷往西京洛陽。
靖康之變后，大批宗室被女真人屠殺，或是擄往極北之地，致死未能還鄉。而高宗南渡，幾代之后隨著人口繁衍，宗室人口暴增，又從臨安分遣到紹興和泉州，仍設外宗正司管理
如今由于蒙元蒙元侵入江南，皇家宗室再遭浩劫，大批宗室被蒙元擄掠到北方，泉州宗室由于蒲氏投敵，幾乎被殺絕。而逃脫的宗室有的投奔行朝，在復國中戰死疆場，更多的是為了避禍自毀玉牒和宗譜，改名換姓隱于民間。
所以在景炎帝駕崩，當今皇帝繼位后，宗室零落只剩下皇帝和楊太后，加上后來皇帝認的遠宗趙孟錦和出家為僧的元妙大師。后來得知被擄到北方的德祐帝及一班宗子皆接受蒙元的敕封，小皇帝為了表明自己抗元的決心，便將他們盡數除籍，成了真正的孤家寡人。
而后收復江南，重返臨安，小皇帝也開始尋找宗室人員，但皆因為玉牒缺失，且宗譜被蒙元劫走，無法確認而作罷。接著又鬧了一出太子之爭，掀起了一場風波，雖然最后小皇帝將其廢黜，可他尋找遺散宗室的心更淡了。
更讓人難堪的是小皇帝逃出臨安前，謝太皇太后下詔封其為大宗正，而今也沒有人接替，在大婚前其實是自己管自己，有了媳婦、兒女，也不過是一家之事。所以現在的局面是宗正司管的死人比活人多，皇帝兼職的局面，又讓他如何啟齒