原各族百姓屢有反叛，深入山險之地自守，不斷襲擊各封國。漢軍則不斷攻擊清剿，雙方糾纏了數十年，方才停息。
扶余國原本聯合漢軍攻滅高句麗，本指望著漢軍得勝后便會撤退，然后扶余便可占有高句麗的土地和人口，不想漢軍居然大規模筑城屯田，開始定居了起來。扶余國頓時坐不住了，開始招誘各族遺民，連結挹婁，暗地里對抗漢軍。趙累得信，于是聯絡各國，組成聯軍，攻滅扶余，隨后不斷向北進擊。此是后話。
隆武五年的冬天極度寒冷，長江之上飄起了冰棱，淮河結了薄冰，流速較為緩慢的邗溝等運河更是飄起了大塊冰塊，冰雪一直覆蓋到荊、揚二州與交州交界處的五嶺地區，河運廢弛，百姓受災極重。劉賢在分封安東封國的同時，督促各地方官府全力救災，這才好不容易挨過了這個冬天。
至隆武六年初夏，交州刺史士燮突然病故，臨終上表，請求讓長子士廞繼承爵位，然而其次子士徽卻糾合各族兵馬，自領了交趾、九真、日南三郡事務，并派兵隔絕嶺道，不臣之心，昭然若揭。交州刺史薛綜聯合眾將，上表請劉賢南征。
劉賢與眾將商議過后，同意了薛綜等人的請求。當下與眾將商議之后，抽調霍峻為安南都護府首任大都護，呂岱為安南都護府首任長史。會同諸將之中意欲在安南封國者如吳碭、曾夏等十余人，領兵一萬南下至交州，會同薛綜、高翔、裴潛、張裔、劉邕等交州兵一萬五千人，再加上賴厷、衛溫、鐘離緒主掌的新建南海海軍一萬人，合兵三萬五千人，海陸并進往攻交趾。
大軍六月集結完畢，陸軍先沿著山道進擊，從郁林太守裴潛耗費多年修筑的鎮南關處攻入交趾郡境內，隨軍的士廞寫了書信，勸交趾眾將投降。眼見漢軍勢大，交趾大族桓鄰意欲反正，被士徽察覺，當即誅殺。桓鄰之弟桓治，其子桓發逃回家中，收整族兵，得三千人，反攻士徽。
士徽頓時腹背受敵，形勢危急，只得將防守河口的士匡所部兵馬調去鎮壓桓治。卻不想久等不至的賴厷所部一萬海軍突然到來，一舉拿下空虛的河口，繼而沿著紅河而上，直取龍編。士徽根本重地被奪，大軍糧草斷絕，只得領兵后退，沿途將士逃散極多。等到士徽退到望海城時，集合士匡之兵，也僅得五千人了。
士徽心緒不寧，旁邊士匡卻不想再打了，當下力勸士徽投降。士徽如今被打的連敗，已經沒有信心反敗為勝了，當下派士匡前去面見霍峻、賴厷，欲要講和。
霍峻本來得了劉賢的密旨，說士徽久有不臣之心，且與當年劉巴之死有關，叫霍峻必要誅殺士徽，以正國法。此時見士徽欲要求和，居然還有保留爵位官職等一干條件，當下言辭拒絕，轉而派出士廞拉攏士匡，說其投降。士匡被說的心緒不寧，當下回轉望海城，說霍峻不許投降。士徽頓時有些絕望。
至夜，霍峻抽調大軍在望海城下大舉吶喊示威，城中軍民都十分驚恐。士匡權衡良久，終于開城投降。士徽聞訊，當即領著數百親信開南門往九真郡去了。
霍峻收降了士匡、桓治之兵，持節任命張裔為代理交趾太守，隨后督率各軍繼續南下，往攻九真、日南，大軍海陸并進，但有關隘阻路，海軍便繞擊其后，因此各處關隘都無法抵擋，被霍峻連連突破。士徽最后窮途末路，只得逃入林邑，尋求庇護去了。