當夜，劉賢點了邢道榮和魏延兩軍，共計五千人趁著夜色離了孱陵，往南進發。一路經過作唐，來到羅縣，傅彤、胡博急忙出城將劉賢迎進了城中。
劉賢見傅彤傷勢好轉，行走坐臥皆揮灑自如，心下頓時大為放心，關切地道：“傅彤將軍的傷可完全好了，能夠上陣作戰么？”
傅彤揮了揮拳頭，笑道：“多謝主公關心，托主公鴻福，末將早已好了。”
劉賢道：“既如此，此去桂陽，你可與我一道進兵，我有重任托付于你。”
傅彤大喜，當即躬身領命。
當夜在羅縣休息了一夜。次日，劉賢與魏延、邢道榮、傅彤等領著大軍乘坐數百艘輕舟溯湘江而上，從其支流往桂陽而去。路過長沙郡時，長沙太守韓玄聞聽大軍過境，驚訝不已，急忙遣使詢問。劉賢答道：“因桂陽郡樊建、閻晏作亂，桂陽太守趙范不能剿除，故而率兵前往協助征討。”
韓玄這才釋然，待劉賢大軍走后，卻仍舊心不自安，想了許久，終于決定暗暗招兵買馬，積蓄實力，以防有變。
長沙郡有人口百萬，除去一部分歸化的蠻夷之外，還有漢民七十余萬，雖然土地開發程度不高，但計算錢糧賦稅，也足可養活兩三萬大軍。除去供應劉賢的糧草之外，剩下的也足以養兵萬余。當下韓玄暗暗遣帳下校尉吳碭、曾夏征召兵馬五千，秘密在附近山谷之中設立營寨，加緊訓練，竟做的神不知鬼不覺。
且說劉賢領兵過了長沙，進入桂陽地界，耒陽縣正是桂陽郡與長沙郡交界的一個縣，劉賢領兵從水路直接來到耒陽城下，分派大軍扎營，隨后命魏延前去挑戰。
耒陽令樊建堅守不出，劉賢見狀，也不著急，當即令眾將打造攻城器械。
耒陽乃是大縣，出產鐵，朝廷在此設置了鐵官，除了產出鐵器之外，還兼職鑄錢，每年能鑄造五百萬枚五銖錢。
這里是劉賢必要拿下之地。
只是也正因為產鐵，城中鐵料和鐵匠極多，所以樊建在反叛之后，加緊打造兵器，數月時間，麾下便有了四五百身穿鐵甲的甲士，其余三四千兵馬也都兵器精良，因此桂陽太守趙范多次遣將來攻，都無功而返。
不過劉賢卻毫不擔心，耒陽城依山傍水，雖然地勢絕佳，但總歸是地處荒僻的荊南地區，城池并不高大，隨便造些云梯便能攀援而上。有魏延、傅彤、邢道榮這等大將領兵攻城，并不難攻下。
劉賢唯一忌憚的是那數百名甲士，若是強攻的話，傷亡將會難以控制。
不過劉賢自從領兵作戰以來，早就防著有攻城的一天，南方多山多雨，地形復雜，土地濕潤，以這個時代的技術水平而言，并不適合挖地道。所能做的，就只有在攻城器械上下功夫。