此次出兵，劉賢意欲以黃忠、郝昭兩部，共計六千人為主力，新招募的五千蠻兵為輔助，合計一萬一千人，準備一舉拿下高涼、徐聞、朱盧、合浦四縣，將士燮的勢力完全趕出合浦郡。
此時形勢變幻，合浦郡境內的蠻夷百姓大多都背棄士家，轉而歸附劉賢，沿途都有各地夷帥帶路，因此劉賢進兵極為神速，不過五日，便到達高涼城下，士壹見民心盡失，于是棄城而逃，劉賢進城安民完畢，復又領兵南下，直取位于雷州半島的徐聞縣。
十余日后，大軍順利到達徐聞，經過短暫的攻城作戰，徐聞也被順利拿下。劉賢領兵直至海邊，眺望南海，心緒一時起伏不定。
黃忠在旁道：“將軍似乎有心事？”
劉賢指著南邊道：“由此往南，有一座大島，漢武帝時，曾設朱崖郡管轄，此地也是我大漢故土，可惜波濤阻隔，一時難以到達。日后有機會，我當在交州建一支能夠劈波斬浪、縱橫大海的水師，好為大漢開拓海上疆土。”
黃忠聞言，點頭道：“將軍壯志，必有實現的一天。”
劉賢對著大海看了許久，這才領兵返回徐聞縣城，準備休整兩日之后，便即繼續往合浦縣進兵。
正當此時，忽聞荊州龐統遣人送來書信。劉賢急忙拆開看視，頓時心下一驚。
原來周瑜、劉備二人早已做好西進益州的準備，二人一來擔心他兩家主力走后，荊州空虛，被劉賢趁機襲擊，二來得知劉賢正攻略交州，也不愿意劉賢進攻的太過順利，于是不斷遣使逼迫，必要劉賢親自領兵隨同西進益州不可。
龐統多番推諉，周瑜、劉備卻日益逼迫，前些日子，甚至開始在邊境調兵遣將，有聯合威逼之意。
龐統見實在推不下去了，只得發來書信，請劉賢盡快穩定交州，抽身返回長沙，主持大局。
劉賢見龐統言辭急切，顯然是形勢危急，再也拖不下去了，當下只得長嘆一聲，準備收兵返回荊州。
但交州卻不能不留人主持大局，思前想后，劉賢陡然發覺自己身邊竟然無人可以托付一州大事，不由大為皺眉。龐統在荊州，抽不開身，交州該交與何人？
正發愁之際，忽聞交趾太守士燮再次遣許靖為使，再次拜見。
劉賢忙命請進來，二人相見，許靖笑道：“劉都督真是少年英雄，銳氣逼人啊！短短一兩個月，竟然就能盡收交州蠻夷百姓之心，領兵直至海濱，真是令人嘆服啊！”
劉賢道：“文休先生過譽了！士燮此次遣你來，想必是有好消息帶給我嘍？”
許靖正色道：“士太守已發交趾、九真之兵，共計十萬大軍，來與都督爭奪交州，前鋒萬人已至合浦縣城。”
劉賢聞言心下一驚，轉而笑道：“先生何必虛言恫嚇，士燮若真能有十萬大軍，早就掃平交州七郡，進而北上攻打荊州了，哪還會坐守交趾，與賴恭、吳巨相持？我看他麾下兵馬，頂天了也就兩三萬人，哪來的十萬大軍？”
許靖聞言，微微一笑，道：“即便如此，數萬大軍依山傍險而守，都督也必將疲于應對吧？都督何不暫息刀兵，兩家講和，從此各守疆界，與民休息，豈不是好？”
劉賢淡淡地道：“還是我上次的話，若士燮愿意退出合浦郡，兩家便可罷兵休戰。”
許靖聞言，為難地道：“都督何必如此咄咄逼人？我來之時，士太守表示自愿去除總督交州七郡的職務，尊奉都督為交州牧，兩家平分合浦，從此互不侵犯，如何？”