這些人還有一個特點，他們雖然是統率諸多俚僚部族的大酋長，但本身家族卻并非嶺南俚僚土著，而是在不同時期從北方遷移到南方來的中原氏族。陳佛智祖上乃是潁川人士，寧逵祖籍則為冀州，至于馮仆家族則就更加著名，乃是十六國時期的北燕皇族。
這些人家世多出身北方的次等士族或是失勢皇族，在衣冠南渡的過程中本身實力和影響力都不足，便被排斥出了僑族聚居的三吳等江東核心地帶，不得已到更加偏遠的嶺南地區落腳謀生。
為了能夠立足此鄉，他們便選擇與當地還沒有形成基本社會組織和制度的俚僚部族進行聯合，引導他們進行開化，并將這些部族組織起來成為自己的私曲。一盤散沙的俚僚部落擁有了一定的組織度，而這些南遷人士也搖身一變成為了稱雄一方的豪強大酋。
這其中尤以馮氏家族最為典型，南梁時期時任羅州刺史的馮融讓兒子高涼太守馮寶迎娶境內俚僚大酋長冼氏，便是名傳后世的冼夫人。
馮冼兩族的這一次聯姻可謂影響深遠，甚至一度影響了嶺南當地的格局。馮氏借助冼氏在嶺南俚僚部族中深厚的影響力和號召力成功在嶺南立足并發展壯大，而冼氏也借助馮氏的政治資源從原本的方隅豪酋一躍成為地方新貴，成為朝廷正視并拉攏的對象。
這兩族的結合也是當時嶺南群蠻逐漸開化并融入世道主流的一個縮影，雖然過程中是充滿了功利考量，但結果無疑是嶺南漢蠻融合的一個典范，給未來嶺南的進一步發展奠定了一個深厚的人事基礎。
以歐陽頠一族為代表的嶺南官方勢力，再加上各地俚僚豪酋與其他地方勢力，便構成了嶺南地區的人事環境。這里雖然長期處于天下大勢演變的邊緣地帶，但是本身也自有其規律與秩序，偶或順應大勢，偶或脫離主流而獨自發展演變。
之前錢塘江南岸一場慘敗，使得侯安都在會稽費勁心力所組織起來的兵馬勢力蕩然無存，只能狼狽外逃。
侯安都并不像陳蒨那樣還有其他的選擇，他作為此番唐軍點名要作攻伐的對象，一旦勢力不復存在，那就注定會成為別人口中的一塊肥肉，故而只能選擇盡量遠離唐軍兵鋒所指、并且對大勢發展感應比較遲鈍的嶺南逃亡。
他本來就是嶺南始興人士，此番窮途末路之下，自然首先便要逃奔鄉里、希望能夠盡快再恢復一部分勢力。????侯氏一族乃是始興豪強，盡快大部分的族人部曲之前都跟隨侯安都北去，但還是有一部分族人留在了本鄉，而且隨著侯安都在陳霸先麾下的功名勢位越發顯赫，這些留守鄉里的族人們也趁機掌握了大量的鄉勢。
因為途中無作更多耽擱，在撤離會稽之后侯安都一行便快馬加鞭的直奔始興而來，故而在其戰敗的消息傳到嶺南之前，他便先一步回到了鄉里。
盡管鄉里群徒有些詫異于侯安都突然返鄉，但是因為并不清楚北面的最新情勢變化，故而此際在他們的眼中，侯安都仍是那位威風凜凜、不可一世的名臣大將，而非什么失勢敗犬。
侯安都也樂得讓鄉人們繼續保持這種誤解，歸鄉之后他并沒有大肆聲張，而是在第一時間便將鄉里族人部曲收聚起來，又得兩三千名甲兵。
隨著侯氏宗族頻有動作，作為州內長官的衡州刺史歐陽邃自然也有警覺，當即便派遣州吏前往鄉里加以訊問。
此時已經初步恢復實力了的侯安都也不再像之前那么謹小慎微、小心翼翼，直接向州吏告知原委，并且表示唐軍很快便要進逼嶺南、鄉里這一番兵禍難免，但若州主歐陽邃肯配合他行事，他便可心無旁騖的統率部曲來抵抗唐軍，保護鄉里不受侵害。
“江東情勢已經敗壞至此了嗎？唐軍竟然如此勢大，侯安都素來桀驁囂張，居然被唐軍攻打得狼狽鼠竄！”