曹仁撤走之后，劉賢抑郁了許久方才緩了過來。因江陵被周瑜奪取，大江南岸陣地也多在孫、劉聯軍手中，劉賢思前想后，覺得油江口已無守衛的必要，于是將船只全部調到羅縣，交由傅彤、胡博看管，隨后棄了油江口大營，盡起大軍，退守孱陵縣城去了。
此時張飛已經養好了傷，劉備本欲進兵攻打劉賢，但又自忖兵力不足，有心想要調關羽、趙云的兵馬南下，又恐抽調了兵力之后，自己所占據的南郡地區兵力薄弱，從而被襄陽曹軍，或者江陵周瑜趁虛而入，奪了南郡諸縣。
要知道劉備此時雖然困窘，但卻心懷大志，心知欲圖大事，南郡至關重要。無論是北伐中原，還是西取巴蜀，南郡都是不可或缺的前進基地。雖然江陵此時落入了周瑜手中，但劉備也趁曹軍北撤之機拿下了當陽、華容、臨沮等處，加上原有的旌陽等地，劉備在南郡的勢力并不比周瑜弱。
劉備陰懷奪南郡之心，以己度人，自然也擔心周瑜謀奪自己的地盤。
但不從南郡調兵，本部的兵力又遠少于劉賢，正猶豫不決，荊州地區突然發生了兩件大事。
第一件是益州牧劉璋所任命的秭歸守將襲肅突然率兵投降周瑜。
秭歸乃是荊州土地，守將原是李嚴，后曹操南下，劉琮投降，李嚴不愿投降曹操，于是轉而歸附劉璋。劉璋任命李嚴為CD令，另派襲肅率兵三千駐守秭歸。今襲肅見周瑜擊敗曹操，奪取了江陵，聲威大振，故而心生怯意，舉兵投降周瑜。如此一來，江東軍西進奪取益州的道路陡然順暢了。
第二件是劉琦突然病死了。
劉琦身體本來不好，又接連遭逢父親死亡，奪嫡失敗，曹操南下等一連串重大事故，整日里郁結于心，又沉迷女色，身體一日弱過一日，終于在曹仁撤走之后，心神松懈之下，突然病亡。
劉琦一死，劉備頓時失去了招攬荊襄民心的一面旗幟，形勢變得有些不妙起來。無奈之下，劉備只得自領荊州牧，隨后任命糜芳為江夏太守，直接吞并了劉琦的軍隊地盤，又任命關羽為襄陽太守，張飛為宜都太守，管轄南郡西南部地區，劉磐為長沙太守，樊建為桂陽太守，豫州汝南人陳化為武陵太守，其余糜竺、簡雍、孫乾、伊籍、馬良、張存、習禎，習竺，向朗、潘叡等人各為治中、別駕、軍師、從事，人人皆有任用，盡皆喜悅。
除了周瑜的南郡和劉賢父親劉度的零陵之外，劉備一舉將荊州地區給封了個遍。
周瑜在江陵聞之，當即大怒，喝道：“我軍糜費錢糧，逼走了大敵曹仁，他倒來享現成，實是可恨！”
闞澤道：“劉備繼劉琦而領荊州，明正言順，都督何必動怒？”