卻說劉賢沿山道逶迤而行，來到幟縣時，嚴顏早已棄了縣城，撤軍往上游去了。周瑜留兵守衛幟縣，也自水陸并進，追擊而去。
幟縣守軍見劉賢到來，閉門不納，只叫劉賢在城外駐扎。魏延大怒，便欲攻城，劉賢笑著安慰道：“無妨，我觀此城被周瑜用投石機攻擊，城墻已然大壞，若是攻打，自然容易奪取。但如此一來，豈不是與周瑜反目成仇？既然人家不要我們進城，那也罷了，我們也不西進，干脆轉道南下去取涪陵算了。”
魏延聞言大喜，道：“早該如此！”
當下劉賢命令士兵砍伐樹木，建造小舟、木排，準備渡江南下去取涪陵。次日，舟船尚未建造完畢，早有周瑜書信從上游送來，劉賢拆開一看，只見周瑜在信中不斷賠禮道歉，表示要嚴懲幟縣守將，請劉賢切莫生氣等等。末了，話風一轉，道：“如今已進兵近兩月，駐守魚腹的大軍接收了后續錢糧，開始陸續進發。眼下已有潘章率軍三千西進，我已傳令叫他南奪涪陵。請劉將軍接信之后，速領兵前來，與我會合。”
劉賢看完書信，沉默不語。當下就收住大軍，駐扎在幟縣城外，也不進兵，也不南下。
且說周瑜領兵水陸并進追擊嚴顏，自以為有水軍精銳，進兵便捷，心下并不以嚴顏為意，只在聞聽劉賢擊破孟達營寨，收降了三千川軍之后，心下才頗有些憂慮。轉而對呂蒙道：“劉賢此人，甚難壓制。只要一有機會，他便能迅速壯大，看來今后不能再放任他自主出兵了。”
呂蒙道：“但他如今駐兵幟縣之外，不來與我會合，如之奈何？”
周瑜笑道：“無妨，他現在兵馬不少，若真的前來，我還擔心他對我不利。就讓他暫時駐扎在幟縣吧，等我取了江州，全據巴郡，再來理會他。”
于是周瑜專心追擊嚴顏。
這日，行到長壽鄉地界，周瑜聞聽前方探子來報：“嚴顏在前面當道扎營，阻住去路。”
周瑜訝道：“嚴顏一路潰逃，如何又敢在這里立寨堵截我？”
當下率領眾將前往查看，只見嚴顏在山道之上筑起營壘，將道路堵得嚴嚴實實，周瑜看了看地勢，著實險要，易守難攻。于是轉頭對呂蒙道：“嚴顏再次堵截，難道不怕我乘船繞過去，趁虛襲擊江州？”
呂蒙也百思不得其解，道：“或許是別處有援軍到達，江州已經有兵守衛了，也不一定。”
周瑜點頭道：“應是如此！嚴顏雖有兵萬余，但這里山道狹窄，大軍根本施展不開，我欲留一支兵馬在此，也深溝高壘堵住道路，防止他復去奪幟縣。我卻率領大軍乘船繞過去，徑直去取江州。看他嚴顏會不會回援！”
計議完畢，因天色漸晚，周瑜決定暫時扎營休息，待明日再進兵。