只是那些名聲顯露的，諸如席元慶，康懷順，田珍，封常清、白孝德、段秀實等人，心中都有向上拼搏的念想，自然不會屈居在這種小地方。只有認為自己前途止步于此，才會選擇留下來。這也是沒有辦法的事，他只好選擇從矮子里拔將軍，希望這個趙從芳能夠獨當一面。
“趙從芳，你現任何職？”
“啟稟大將軍，卑職現任疏勒軍演渡州州營押官。”
高仙芝下意識地把目光投向了李嗣業，意思是這是你屬下的人，你的人只有你熟悉，你倒是給咱公正的評判一下，趙叢芳有沒有這個能力擔當一軍之軍使。
李嗣業自然有他的一番說辭：“趙從芳跟隨我多年，我對他也頗為了解，他雖不似田珍、封常清、段秀實等人作戰能力突出，但勝在老成持重，各方面能力均無短板，且有獨立判斷和決斷能力。所以我相信趙從芳能夠勝任小勃律軍使的重任。”
既然李嗣業都認可的人，高仙芝還有什么可懷疑的，當即拍板說道：“既然如此，趙將軍就留駐在小勃律都城，負責維持小勃律穩定，堅守娑夷河不使吐蕃軍有機可乘。你帶領你麾下的三個團，我再給你調撥來兩個團，總共一千人。你們再從當地人中選拔出兩千人組成一軍。我會向圣人稟報為你們討來軍號和官銜，一切軍餉和糧秣都由小勃律國供給你們。”
趙從芳躬身叉手：“喏！從芳定不負大將軍所托。”
安排人留守的事情談妥了，高仙芝很高興，他在小勃律國的這場戰爭總算告一段落，回去迎接屬于他的功勛和榮耀。但對于這個地方也有一絲絲的懷念，主要是享受把一個國王呼來喝去的感覺，覺得他在這個彈丸之地內，擁有凌駕眾生之上的快樂。
但回去安西之后就不會了，他回去還得裝孫子，而且很快就會體會到那種巨大的落差感。
李嗣業倒沒有這種感覺，他在這場戰爭中功勞很大，卻沒有喧賓奪主，最大的功勞還是屬于高仙芝的。他巧妙地拿捏著這種分寸，在戰爭的大方向上決計不會多插一句嘴，讓高仙芝認為，是他的戰略和決斷取得了根本性的勝利。
高仙芝第二日來到孽多城王宮，對國王提出要組建一支由唐軍主導的聯合軍隊，軍官層基本都是唐軍，下面的士兵全是當地人，還問國王有什么意見。
國王莫拿利還敢有什么意見，連忙答應高仙芝的要求，讓國相阿貝朗負責幫唐軍選拔士兵。小勃律這樣的多山地區有很多獵戶，人不是問題，阿貝朗順帶著還能以權謀私，把自己城邑內的人多多選拔進軍隊中。
這支軍隊的軍使由趙從芳擔任，副軍使由國相阿貝朗的侄兒擔任，充分體現了這支聯軍的獨特性。至此，小勃律國權力最大的兩個人誕生了，一個阿貝朗，一個趙從芳，他們兩個摻和在一起足以顛覆政權。
這也是高仙芝和李嗣業最擔憂之處，他們即將班師回安西之際，兩人專門找趙從芳進行了深入淺出的訓話。由于地處遙遠的關系，安西軍一撤走趙從芳就等于放了風箏，所有的事情他都要自己做判斷，所以要保持清醒很重要。
“我們對你的要求只有兩點，不要與本地人把關系搞僵了。這一點很容易，只要你不做太過分的事情，小勃律人不敢得罪唐軍，所以千萬不要太過于作威作福。第二點，要保證小勃律的穩定，永遠不要主動去主導政權更替，任何人想借唐軍的力量去顛覆小勃律王，都不要答應他。除非事情到了無法挽回的地步，這需要你自己去判斷。”
趙從芳深感自己責任之重，再次行插手禮向兩位將軍保證：“我們留在這里的目的是防止吐蕃人，絕對不會主動干預小勃律的國政。”
高仙芝深感欣慰，他終于可以放心地班師回安西。
天寶五載八月底，趁著蔥嶺地區還沒有迎來最嚴酷的寒冬，高仙芝帶著軍隊七千人從孽多城出發踏上了回程。小勃律國君臣一路相送到城外，表面上有些不舍，實則心中慶幸，高仙芝這個強盜終于走了。
他盜取了小勃律皇宮里的許多財寶，國王送行時還得強顏歡笑，就好像強行把他們從吐蕃人手里解救出來一樣。如果站在勃律人的立場上來說，唐人和吐蕃人是同一種東西，他們都給這個處在東亞的小國家帶來了不幸。這也是在大國夾縫之間生存的小國的不幸。
高仙芝的親衛部隊每人的馬匹上都攜帶了一些私貨，用葛麻布包裹，看不出來是什么東西。但心里清楚的人都知道，那里頭包著的都是金玉器，只是他們都裝著不知道罷了。