張飛聞言，深覺有理。然而斥候來報，說荊州兵已經退回了武關，不再前來進攻上雒。張飛頓時萬分憋悶，只得暫時留下了地道，以備將來。
劉備見荊州兵不來追擊，心下記掛著漢中，當下分兵五千給張飛，合其原本的二千殘部，總計七千人把守上雒。隨后命劉封、孟達繼續把守峣關、藍田。劉備則率領其余一萬五千人返回長安，準備轉道復奪漢中。
與此同時，關羽也收到了漢中失守的消息，此外，益州內部也出現了叛亂，漢嘉太守黃元突然打著扶立原益州牧劉璋的旗號反叛，同時，梓潼郡的山賊張慕也起兵作亂，居然去江油將輾轉關押在此的劉璋一家給劫走了。
一時間益州人心惶惶，有不穩之勢。關羽心急如焚，當下決定撤軍。
然而從益州上游攻打荊州下游，乃是進易退難之勢，關羽想要撤退卻也并不容易。水軍胡濟所部立即咬住了蜀軍水師，同時駐兵夷道的諸葛虔和五千五溪蠻兵立即兼程往西，在巫縣、秭歸交界處渡過長江，把住了群山之間的小道。
關羽本欲急速退走，奈何黃忠、杜路、相煒、彭式、李巡、馬岱、蔣琬、費祎、董允、李遺、孟通等人得了劉賢通報的漢中戰報，知道關羽必退，因此揮軍死死咬住了關羽。
在這種后有追兵，前有堵截，山道險峻，水路浪急的情況下，心急撤軍的關羽陷入了苦戰之中，不得不全不顧惜士卒性命地揮軍搶奪道路，在山道之上與荊州軍爭搶高地，爭奪形勢。奮戰了十余日，等到關羽好不容易退入巴東時，麾下七千水軍已經全軍覆沒，步軍也死傷一萬一千余人，被俘八千余人。
損失總計達到了二萬六千人，加上早前損失的二三千人，漢軍損失近半。
水軍大將龐樂、李異戰死，步軍蔣斌、劉豹、趙祚三員偏將被斬。
關羽僅只帶著三萬一千余人退回了巴東。
荊州軍大勝，當下黃忠等人寫了戰報告知劉賢。劉賢聞訊之后，當即下詔嘉獎了眾將，隨后命黃忠督率劉敏、成何、彭式、李巡、杜路、胡濟等二萬余人作勢欲攻魚腹，命諸葛虔、相煒沿清江往上，經恩施、利川，翻越山道前往襲擊臨江、朐忍。
而關羽回轉巴東之后，留宗預、袁龍領兵一萬把守魚腹，留趙融領兵五千把守巴郡，隨后便即率領其余一萬六千兵馬火速往成都而去，意圖盡快剿滅黃元、張慕之叛。
此時，行到了潁川的劉賢又收到了河內陸遜發來的戰報，說駐守蕩陰的夏侯衡、文欽二人中計出城，被陸遜設伏擊潰，二將皆被漢軍擒獲，蕩陰城池也被漢軍奪取了。
劉賢聞訊大喜，當即便命將夏侯衡、文欽等人押過來相見。