龐統去后，劉賢心下稍安，因顧念麾下大將都在北線、東線，而西線如今只有霍峻、史阿可以稱道。但二人論及戰斗力，與關羽、張飛相比，卻又差了一截。況且關平、周倉也是武力值一流的猛將。倘若西線眾將稍不留意，恐怕就有損兵折將之憂。
當下劉賢想了許久，又傳令駐守竟陵的苗瓠所部北上進駐當陽，命黃忠領一千精兵火速前往增援西陵。又傳令西線眾將，見到關羽、張飛，只許結陣以弓箭攻擊，不許與之斗將。
待各路信使去后，劉賢看了看江對岸的武昌，心中頗有些無奈地想到：“荊州四戰之地，果然難守！看來想要逼孫權作出更大讓步是不可能的了。”
當下劉賢找來程祁，對其道：“如今與孫權協議談到什么程度了？”
程祁道：“諸事都已談妥，只在是否遣返宋謙將軍，以及今后江東在武昌的駐兵數量上，尚未能達成一致。”
劉賢沉默片刻，道：“宋謙以及經過救治之后，確定已經傷殘的數百江東士兵都可以遣返回江東。此外孫權想在武昌駐兵多少？”
程祁道：“孫權欲在武昌駐兵七千人，在蘄春駐兵三千人，合計一萬大軍。”
劉賢想了想，道：“可以答應他。”
程祁道：“但孫權也同時要求我軍減少在江夏一帶的駐兵數量，這卻該如何答復？”
劉賢嘆道：“罷了，我軍日后在西陵駐兵三千，在夏口駐兵一萬，在州陵駐兵三千，合計一萬六千人。你就告訴孫權，夏口之兵雖多，但我會隨時抽調去協助攻打襄樊，并非是針對江東。想來他應該無話可說了。”
程祁聞言點頭，當即駕船去武昌，將劉賢之意告知孫權。孫權見劉賢讓步了許多，于是也欣然同意。雙方于是達成協議。孫權留黃蓋、晉宗領兵三千守衛蘄春，留孫皎、蔣欽領兵七千鎮守武昌。又加封庶弟孫朗為平北中郎將，將長兄孫策之次女許配給陸遜為妻，令二人往荊州劉賢麾下聽用。
劉賢見孫權火速履約，當下也令南北兩路兵馬撤回。令魏延領兵三千駐扎西陵，并總督西陵、夏口、州陵之兵。令樊岐領兵三千，繼續鎮守州陵。令呂介、胡濟駐扎夏口，張著所部士兵全部調歸胡濟，張著本人則從江東降兵之中另擇選二千人作為本部，仍為水軍，駐扎江陵。從黃權所部水軍之中調出二千人歸呂介指揮，黃權則也從江東降兵之中擇選二千人精壯者補充進入本部，回駐宜都。
至此，夏口所存的江東降兵還剩二千人，北線魏延，南線黃權之處也還各有六七百降兵。
劉賢命將其中傷殘者六百余人挑選出來，全部放還給孫權。又從剩余降卒之中挑選了一千精神萎靡，眼神閃爍，經歷大敗之后已經有畏戰情緒的士兵單獨編為一營，名為無難營，點選了一個名叫徐顧的江東軍侯統領，令其領兵去孫權麾下效力。而剩余的一千六百余人則全部分散補充各營的損失。
武昌城中，孫權看著徐顧率領的這一千無難營士兵，不由臉上一陣青一陣白，變幻不定，良久才揮手叫眾軍退下，隨后憤怒地拔劍而起，砍翻了身前的桌案，怒喝道：“劉賢小兒，真是欺人太甚！”