孫尚香見劉賢如此敷衍，大為不滿，轉頭生起了悶氣，直到當夜出了靈渠，在靈渠以南扎營休息的時候，孫尚香仍舊不理劉賢。劉賢只得哄道：“罷了，你若真想做女將軍，也行。不過先只能做我的親衛將，待日后你通過考核，我便準你上陣。”
孫尚香道：“什么考核？你先說說，我也好預作準備。”
劉賢道：“考核共有三重。凡為將者，必精通兵法，這第一重考核便是考你兵法戰策。為將者，也當精通武藝，這第二重便是考核你的劍術和騎戰之術。第三重嘛，就是考你的箭術了。想來夫人你出生將門世家，這三樣考核應該都難不倒你吧。”
孫尚香聞言，輕哼了一聲，傲然道：“當然！你等著，不出三五個月，我定能通過考核。”
劉賢聞言大笑，心下不無得意地想到：“就算你熟讀兵書，武藝超群，這一關、第二關難不倒你，你也休養通過第三關。我就不信你射術在高，還能高得過黃忠去？”
于是劉賢安撫了孫尚香，當夜得以愉快地上床休息。
次日，大軍起程，經過艱難跋涉，終于到達始安縣（今桂林地區）。賴恭、裴潛、高翔聞聽劉賢到來，急忙出城迎接。劉賢就在城外立起營寨，安頓大軍，隨后設宴請賴恭、裴潛、高翔入席。
酒過三巡，劉賢見賴恭、裴潛、高翔都有些忐忑，當下道：“我大軍至此，你等何故不安？”
賴恭與劉度乃是舊識，當下仗著年長，對劉賢道：“賢侄身為荊南都督，如今卻領兵來到始安，莫非是要攻打交州？”
劉賢笑道：“聽聞賴刺史被吳巨所欺，我故領兵來此，問罪于吳巨，為你報仇。”
賴恭苦笑了一下，道“賢侄說笑了！我智窮力短，無力保守交州，被人家趕了出來，如今還能有什么想法？若是賢侄有意取交州，我愿傾力相助。”
劉賢大喜，道：“若得刺史相助，大事必成。”說著，又轉頭看向裴潛和高翔，問道：“你二人之意如何？”
高翔起身拜道：“愿聽將軍調遣。”
劉賢大喜，起身扶起高翔，勸勉了幾句，然后目視裴潛。
就見裴潛面色變幻了一陣，這才長嘆一聲，起身拱手拜倒道：“若蒙都督不棄，我愿效勞。”
劉賢喜不自勝。高翔原為司馬，劉賢當即封其為校尉。裴潛原為撫夷校尉，劉賢自覺要南征，必要與蠻夷打交道，故而保留了裴潛的這個名號，另依照自家軍隊的職位等級，加封其為中郎將。
至此，劉賢收復了各軍，當日大饗士卒。次日，任命倉槽掾劉邕為始安縣令，留守縣城，隨后率領大軍，乘船順漓江而下，不過一日便進入蒼梧縣境內。
劉賢為求速度，命黃忠為先鋒，與賴恭一道先行。