據說自古以來，向家子孫便自詡為商湯王的后裔，把姓氏定義為源出于子姓，屬于以父祖之名為氏的一個姓氏。這也是一個有著顯赫出身的家族，不管后族支系如何發展，這個出處一直為向氏所自豪。
還有一支據說是出自于炎帝姜姓的后裔，他們的后代都是以國名為氏，毋庸置疑這也是一個顯赫的出處。至于偏差為什么這么大，就沒有人去計較了。
還有一個有名的出處，便是源于姬姓，據說是出于春秋戰國時晉國上卿的后裔，這個人名叫羊舌叔向。這一支的淵源比較有名，歷來也是向氏傳承主流之一。因為時代久遠，是否最初也出自子、姜、姬就沒有人可以知道了。
當然，這其中還有一支出處，便是一直被人詬病的一支。因為據說他們源于西南夷，乃是來源于黃帝的后代苗裔，屬于漢化改姓的姓氏。就是因為一個苗裔的名頭，讓他們融入后世后，刻意的淡化了自己的出身。
最后還有一支，便是源于楚西的土蠻。
所謂的土蠻，后世的人一直認為，乃是漢民遷入各地和蠻族雜居所衍生。不過向家這一支卻有著特殊性，他們原來確實是漢族后裔，不過后來長期和蠻族聚居，居然便逐漸的把自己的姓氏夷化，主動改為蠻族的姓氏了。
這一支主動的融合，倒是不知道那一支被認為是苗裔的后代，他們心里做何感想了。不管如何，這些向家的子孫，歷朝歷代都有留下記入史冊的子弟，使得向家的歷史更添光彩。
五溪當地這些蠻族，原本的一些本地蠻族雖然依然存在，但是隨著被中原地區歷代派兵駐守，這里便自此多了一群特殊的人。
他們乃是當年西遷五溪的歷代漢民，以及一些跟隨歷代駐守官兵的將士。近代最有名的融合，便是楚王馬殷西征的將士，這些人積極的和楚西當地蠻族通婚，留守在當地的將士不斷繁衍出自己的后代，而這些人群便被人稱為土蠻。
如今楚西有名的楊家，就是一個極好的例子，他們留在楚西的子孫，被人稱為土家蠻族蠻民。不管他們自己怎么想，事實便是如此的存在于世間。而他們另外一些進入中原地區的子孫，卻依舊被人稱為漢人。
而當初向家的子孫，便也是如此的存在了，據說最早可以追溯到漢初。以至于后來蠻化的漢民，自然而然的也納入了這個姓氏里。不管如今五溪向氏的來源究竟如何，但是他們無疑乃是五溪古老的家族之一。
據史書記載魏晉南北朝時，向氏族人主要活動在五溪、長江、巫峽流域以及渝州、楚北、楚西地區。當時比較有名的，如酉陽蠻王向蠶、建平夷王向弘、建平蠻向光侯、巴建蠻向宗頭等，和中原政權多有呼和。
其中，在南朝宋永明年間483－493，有建平蠻夷王向弘的后裔向宗頭聚眾，和黔陽蠻的首領田家的田豆渠等聯合，一起率眾抗齊的事跡。
這些事跡不但表明了向家的歷史，更可以看出向家和五溪首族田家的交往，不但是互動由來已久，而且有著很深的先輩淵源。作為五溪自古以來最強大的家族，田家自然承認了向家的繁榮。
后來隨著各種演變，向家家族逐漸往西繼續遷移，進入了今日的渝州地區，但是聲望依舊在五溪流傳。他們不僅在六朝后期就進入信州奉節，而且在南北宋以前便遷入了涪州涪陵。
所以自南北朝至隋初，五溪一地的諸洞蠻族，公認是以田家、冉家、向家發展為最快，而且他們互為聲援戰斗，雖然極少有聯姻的現象出現，卻也一直都是占據五溪頭族的位置，這是五溪蠻族都比較認同的所在。
歷朝歷代向家優秀的子弟不絕于世，而當代的向家子孫，聞名于世間的也不少。近代最有名的當屬澄陽人向壤，他乃是如今向家在五溪的當代家主，其身份和地位相近的政權都知曉。
而同樣和向壤一般傳名于世間的，卻是武安軍節度使衙前兵馬使向宗彥，他不但在當年調和了溪洞蠻族彭士愁和馬楚的爭斗，率領蠻族平息了馬楚和五溪的仇怨，還代表了五溪蠻族和向家在溪州銅柱上留下了名字。
作為緩沖蠻族和中原的大家族，向家在向宗彥的帶領下，自此率族再次在楚西立足，成為了五溪蠻族一個特殊的大家族。對于向家在楚西的復興，向宗彥自然功不可沒，固然也是向家的威望所在，如今可以說也是人才濟濟。
雖然向宗彥已經不在，可是向家子孫依舊接替駐守，成了五溪在楚西地區，唯一可以公開制約彭家的家族，也是中原地區在五溪合法的代表。向家不但威望未減，而且似乎給人的感覺更加超然。
如今年輕一代的如雙刀向光普等人，可以說正是在楚西如日中天的時候。