趙衛成名很早，當他已是廊州副都督的時候，馬武還只是一名小小的郎將。
趙衛身上有一半的吐蕃血統，其父本是漢人，因為善于養馬，被吐蕃一名大貴族看重，拔其奴隸賤籍，以貴族少女賜之為妻，隨后生下趙衛。
像趙衛的父親這種奴隸漢人，能夠得到重用，在整個吐蕃，其實很少很少，雖然如此，其父始終不忘故國，從小教導趙衛講漢語，讀漢書。
傳言，趙衛雄武過人，武藝高強，鐵厚一寸，射而洞之，于時號為神射，尤好兵書，略皆暗誦，極有奇謀，每每能夠以少勝多，時人多為敬服。
隨著吐蕃老贊普勵精圖治數十年，國勢漸漸恢復，其野心也是漸起，多次出兵攻打廊州，趙衛入伍參軍，作戰孟勇，幾次大敗晉軍，因功被封為將軍，以吐蕃漢人為基礎，組建五千平人軍隊，曾經一度攻下廊州，聲名大振。
廣元九年三月，趙衛之父病死，臨死前痛哭流涕，懷念故國家鄉，留下遺言，讓趙衛不要再為吐蕃效力，殺害故國同胞。
同年五月，晉朝派人出使吐蕃，聞之趙衛名聲，暗中勸說歸降故國，趙衛思想其父臨終之言，最終同意歸降。
趙衛歸降之后，被趙智封為將軍，隨后數年，指揮有度，幾次大敗吐蕃來犯之敵，并領軍反攻，險些拿下吐蕃門戶重鎮斷龍堡。
廣元十一年，趙衛因功被提拔為廊州副都督，假持節，以副都督之職，被賜予假持節，這在大晉可謂是極為少見，也因此遭到廊州都督范杰輝的嫉恨，幾次暗中上書趙智，污蔑趙衛心懷二志，不忘吐蕃，因此被趙智猜忌，隨后的數年時間，雖然多有戰功，卻始終得不到提拔晉升。
廣元十五年，白巾軍之亂爆發，五萬禁軍全軍覆滅，關內危急，趙智抽調隴佑諸州守軍回返關內平叛，吐蕃聞之晉朝內亂，發兵來攻，首當其沖的便是廊州，趙衛不忍撤軍之后，城中百姓被屠，抗拒圣命，以假持節為名，奪了范杰輝的軍權，領兵八千拼死抵抗，最后以少勝多，大敗吐蕃數萬大軍。
白巾軍被剿滅之后，范杰輝立即上書痛訴趙衛的罪狀，趙智對武將本來就不甚信任，多有防備，趙衛雖然取得了大勝，但依舊無法抵消趙智對他的猜忌，尤其又有范杰輝添油加醋的誣告，趙智最后認定趙衛懷有二心，下旨捉拿回京審訊問罪。
范杰輝得到圣旨，立即帶兵前去抓拿，趙衛原本并不打算反抗，但其家人在與范杰輝理論的時候，有些過激，范杰輝大怒之下，拔刀殺人，其全家二十余人全被被殺，趙衛怒極之下，奮起反抗，引數百親兵斬殺范杰輝，隨后投降了吐蕃。
趙衛這一生太過坎坷，空有一身才華與抱負，卻始終得不到重用，不管是吐蕃還是晉朝，愛惜他的才能，卻也始終抱著不信任的心理防著他，不給他足夠的施展空間。
“危害同胞”
趙衛仰天悲笑，凄聲說道“我身上既有吐蕃血統，也有漢人血統，吐蕃人看輕我，漢人不信任我，有心報國，無力回天，一心忠誠，最后換來的是什么是家破人亡，妻離子散，你們覺得我是吐蕃人，還是漢人”
馬武聽后，沉默不語。