在現代的地圖上，往往會借助同一顏色標注不同的疆域，在中國歷史地圖上，盡管自秦漢以來，西南地區就被同一種顏色標示為均勻統一的整體；然而趙昺到了這個時代才知道與現代國家連續不斷的國境線不同，這一傳統認知疆域內的廣大區域，實際上并未被納入中原王朝的直接統治中。
這片不受中原王朝管轄的地域，往往被稱為夷地、畬地或是苗疆，這片區域一般泛指今天的云貴高原東部，苗族和其他西南民族集中居住的山地地區。居住在這里的各民族，被中原王朝統稱為生俚也就是不服王法教化，不繳納稅賦，不服徭役，與政府為敵之意。
早在戰國中期秦滅巴蜀后，為了方便對遠離咸陽的巴地進行管理，除了進行武力征服外，也通過允準巴人自治，并通過聯姻，封爵加以籠絡，但是收效甚微，俚人仍然時常反叛。因而，東漢及后繼政權，不得不轉變策略，以懷柔策略拉攏，以向蠻人首領賜予印綬、爵號、財物，承認其地位。
漢高祖時為了加強朝廷對流入黔中的巴人后代的控制，將黔中劃分為酉、沅、辰、武、巫五溪，巴氏五兄弟后代各為一溪之長，地位相等，“高祖厭若軍事，亦有蕭張之謀，故偃武休息，羈縻不備。”羈縻一詞的來源，即出自于此。
歷經魏晉南北朝至隋，羈縻政策日益完善和制度化。唐朝建國后，唐高祖李淵專門下詔，把羈縻作為制度，正式推行。即由朝廷在少數民族地區設州，以俗為治，區別于一般州縣。“遐荒絕域，邢政殊于函夏”的羈縻府州制度就此產生。
唐中葉降，在安史之亂和接二連三的朝廷黨爭中，帝國日趨衰微，藩鎮割據一方。羈縻制下的少數民族頭領，趁機擴張勢力，互相攻伐，成為稱霸一方的土皇帝。當然，在群雄逐鹿的唐末五代，這些土皇帝的實力，還不足以和兵強馬壯的中原王朝抗衡，和同是少數民族的契丹相比，就更是小巫見大巫了。
北宋崛起后，繼承并完善了羈縻制度，除承認當地少數民族頭領的政治地位外，對其中勢力較大者，還予以加官進爵或賜予領土，使之成為北宋皇帝在該地區的代言人。羈縻制歷經唐宋兩代的發展，在西南地區形成特色，至元代演變為土司制度。
依靠著這些名義歸附而事實獨立的地方政權，中原王朝不過僅僅能在形式上維持著對西南地區的統治，并不能實施有效的統治。諸葛亮的南撫夷越，既是包括孟獲的南中地區南蠻，也包括夷陵之戰時，響應劉備號召，在荊州南部威脅吳國的五溪蠻。
唐朝則在西南廣設羈縻州，盡管為數有上百之多，但這些羈縻州府與藩屬國、藩屬部落之間的界線十分模糊。羈縻州往往像藩屬國一樣，僅僅接受冊封并履行朝貢義務，實際上仍然是獨立的。由于唐朝常常向邊疆各羈縻州攤派沉重的兵役和貢賦，許多羈縻州背離唐朝，甚至像南詔一樣，徹底脫離中原王朝，走上自立的道路。
吸取唐朝教訓的宋代，則將邊疆地區的羈縻州府列為「極邊」之地，輕易不干預其事務，也不將其納入直接統治。領受官職的羈縻州首領，在繳納貢賦、兵員之外，其家族保持事實上的獨立地位。太祖趙匡胤立國之初遣王全斌平蜀后，其欲乘勢取云南，并獻上地圖。趙匡胤卻以玉斧畫大渡河以西曰此外非吾有也