關羽、張飛兩路得勝，各領兵前進。關羽這一路距離江州近，雖有潘璋領兵三千阻擊，但關羽兵多，擊敗潘璋也是遲早的事。而張飛這一路雖遠，但徐盛已經全軍覆沒，張飛一路進兵暢通無阻，若不分兵阻擊，張飛也將很快攻到江州。
消息傳到步鶩耳中時，步鶩頓時也有些著慌，當下急忙分派鄧銅領本部族兵五千東進去抵擋張飛，隨后又嚴令潘璋固守符節，絕不能讓關羽通過。
此時步鶩已經預感到自己可能會戰敗，當下顧不得再展現仁德了，命令各軍在境內強征青壯為兵，激起了百姓不滿。劉備聞知，當下分派出身益州的王甫、李邈二人潛入巴郡，聯絡了當地大族杜義、杜睿兄弟，這二人到不覺得步鶩強征青壯為兵有什么不對，但卻也敏銳地感覺到步鶩不是劉備的對手，遲早將會敗亡。
捧高踩低、追隨勝利者是絕大多數人的天性，杜義、杜睿二人既有實力，也有攀附強者，建功立業之心，當下在王甫、李邈的游說下立即就決定起兵響應劉備。
杜家在巴郡極有勢力，有私兵僮仆三四千人，更與巴人世代通婚，當下杜義、杜睿立即聯絡巴郡部落，又派出信使欲要說服東進阻擋張飛的鄧銅一起投效劉備。
步鶩也是文武雙全的將相之才，治理巴郡數年，根基已經穩固。杜義、杜睿的異動很快被步鶩查知，當下步鶩大驚失色，急忙留凌統駐守墊江，自領郡兵連夜趕回巴郡，趁著杜義、杜睿尚未正式舉兵，兵力未曾集結完畢的時機，以迅雷不及掩耳之勢擊破二人私兵。
杜義、杜睿見勢不妙，往南逃入大山，進入南川地區依附巴人部族去了。
步鶩穩固了江州，正要領兵再次北上增援墊江，就聽東進的鄧銅在王甫、李邈二人以及杜家兄弟的書信游說之下已經反叛，全軍投效了張飛。
步鶩聞訊大驚失色，只覺大勢已去，當下傳令凌統、潘璋焚燒城池，全軍退回江州會合。
不數日，潘璋、凌統領兵退回江州。步鶩統合各軍，尚有一萬二千人，但步鶩卻深感墻倒眾人推，這幾年雖然治理巴郡卓有成效，但在如今強弱懸殊之際，巴郡豪族卻仍舊大多歸附劉備。因此步鶩深覺心寒，覺得死守也守不住巴郡。而從魯肅東出失敗之后，江東其實已經不可能越過荊州，出兵爭奪益州了。于是步鶩思前想后，決定趁著實力尚存，迅速東出返回江東。
不過步鶩也非善茬，心底決定撤離，面上卻不動聲色，除了往船上裝了許多糧草、金帛，又有意識地驅趕百姓出城逃避戰禍之外，其他都并無動靜。
然后，等劉備、關羽、張飛三面合圍江州之時，步鶩佯裝不敵，引劉備軍進城，隨后點燃預先準備好的柴草，一舉焚燒城池，最后縱兵沖殺，一舉殺傷劉備軍三四千人。
得勝之后，步鶩焚燒府庫，領兵退到船上，徑自揚帆東進，順江出川而去。
陳應、霍峻等人看見巫峽之上沖出大隊船只，因此點燃烽火，向下游示警。
然而步鶩卻并不進攻沿江城池關隘，只顧催船東進，一心逃回江東。
劉賢在夏口，聽了斥候傳來的消息，當下決定在此攔住步鶩大軍，并將之吞掉。
當下劉賢分派快船東進，叫停了烽火，并傳令駐兵潯陽的龐統立即率領呂介、胡濟兩營水軍溯江而上，組成第二波攔截力量。
大軍順江而下，雖然快捷，但上萬大軍行動卻不比一兩艘快船，始終不可能真的一日千里，士兵需要時間埋鍋造飯，更要需要時間休息睡覺。若有沿途郡縣接應，那么倍道而行的話，能夠做到日行五六百里，但若沒有沿途郡縣接應，那么日行三百里已經是極限了。
步鶩大軍從巫峽趕到夏口，一共用了三天。劉賢早已將大軍布置停當，專等步鶩到來。