當日達成協議，孫權即寫了文書，派諸葛瑾送去夷陵、秭歸交給黃蓋、蔣欽、孫瑜等人，叫他們放棄三縣，領兵撤回江東。同時，發文至吳郡、會稽等地，叫點選一百名鑄劍師，一百名造船師到州陵交割。
黃蓋、蔣欽、孫瑜等人接到孫權文書，雖然不舍，卻也只能棄城，數日之內，三縣全都交接完畢，劉賢派出民船運送三將之兵回到州陵，交付孫權。
孫權于是留呂范領兵兩千駐守蛇山，就地修筑武昌城，孫皎則領兵三千繼續駐守沙羨。隨后孫權率領著剩余兩萬一千大軍返回江東。
因曹操此時尚未真正南下，孫權思及江東空虛，恐大戰一起，內部山越豪強作亂，故而先派朱桓、朱然領兵一萬增援淮南，孫權自己卻領著剩余大軍巡視各郡，意圖先震懾境內宵小之輩。
且說劉賢見孫權領兵撤走，于是留樊岐領兵三千鎮守州陵，隨后大軍拔營回到巴丘。此時臨沅尚未攻下，公安、夷道等地也都還在劉備軍的手里。于是劉賢命令張著、胡濟前去攻打洞庭湖西岸的作唐縣，劉賢則率領郝昭、呂介、胡濟、陳應、鮑隆等部兵馬，共計一萬一千人繼續沿江西進，兵鋒直指劉備所置的荊州治所公安。
公安守將傅士仁，以及荊州別駕、典州事潘濬聞聽劉賢領兵大舉到來，盡皆心驚，急忙分派兵馬上城防守。劉賢到后，命呂介、胡濟兩部水軍封鎖油江口，自率郝昭、陳應、鮑隆下船，來到公安城外安營扎寨。卻不著急攻城，只修書一封，命弓箭手射進城內。
守軍將書信上呈給潘濬、傅士仁，二人同時觀看，只見上面寫道：“漢鎮南將軍、領交州牧、都督荊南四郡軍事劉賢謹拜上潘別駕、傅將軍：今我起義兵，誅暴虐，旌旗所指，南郡、江夏望風披靡，程普、關羽束手就擒。現江南數千殘軍已成孤軍，困守小城，外無援兵，豈能長久？且劉備空有仁義之名，治荊州則窮兵黷武，橫征暴斂以養兵，以至百姓困苦，皆欲去之。是以龐林、習珍、習竺、向充等荊州名士，均棄劉備而歸我。糜芳、廖化、郭攸之等軍中宿將，皆委城投獻。亟盼二位以江南百姓為念，追效龐林、糜芳義舉，棄虛偽無道之劉備，歸我仁義愛民之王師。書不盡意，劉賢再拜。”
潘濬看了書信，冷笑一聲，當即命人將之燒掉。傅士仁見狀面色一變，不過卻也沒有說話。
至夜間，傅士仁親自領兵巡視城防，忽見城外一騎快馬而來，奔至城下，抬手復又往城上射來一封書信。傅士仁命士兵撿來一看，只見上面寫道：“城中守軍倘若投降，傅士仁官號可與黃忠平齊，潘濬仍為荊州長吏，家小私財皆得保全。”
傅士仁看信之后，不由大為心動。要知道黃忠乃是劉賢軍中首將，劉賢調整麾下軍隊的職級之后，唯有黃忠一人獲得了偏將軍的職位。倘若傅士仁也能得到這個官位，便能一躍成為劉賢軍中第二人。這讓原本在劉備軍中排不上號的傅士仁如何不心動？
當夜傅士仁便動用權力，命麾下士兵盡皆回軍營安睡，隨后徑直率領親信兵馬打開城門，迎接劉賢大軍進城。
劉賢大喜，揮軍進城，命陳應、鮑隆包圍軍營，迫降營內兵馬。劉賢自己卻與郝昭一道，在傅士仁的帶領下來到城守府，將剛剛收到消息，準備逃跑的潘濬捉住。
眼見被擒，潘濬這才長嘆一聲，不再抵抗，并在劉賢的連番好言相勸之下，賺足了面子之后，頗識時務地投降了。
當下劉賢取了公安，安民完畢，傅士仁又自告奮勇去說降了孱陵縣城。隨后劉賢留王累暫守公安、孱陵，自領著郝昭、呂介、胡濟、陳應、鮑隆以及降將潘濬、傅士仁等繼續西進，往夷道而去。