方今四月初，天氣轉暖，冷熱交替之際，大雨突然不期而至。開始還伴隨著震雷，下的極為急促，讓劉賢以為只是一場急雨，不想一夜過后，雨勢雖然減退，但卻并無停止的跡象。
要知道劉賢修筑的土山只是堆積上去，并沒有一層層地夯實。當然，劉賢既沒有那個時間，也不可能在城內守軍的不斷騷擾之下慢慢去夯實土山。故而堆積出的土山看似龐大，實則土質十分松軟，天晴的時候人走馬踩都沒有問題，然而如今暴雨之后，復又淫雨連綿，土山卻就承受不住了，被雨水沖刷出許多溝壑，水土不斷流失。原本下寬上窄方形的土山，經過三四日雨水沖刷之后，變成了圓錐形，縮水十分嚴重。
就這一場連綿大雨，直接將這么多天的辛苦努力沖走了一半。
劉賢心下又是焦急，又是失望，禁不住仰天嘆道：“莫非天意如此，叫我此次不能攻取襄陽？！”
至第五日，雨勢才終于停息，劉賢看著縮小了一大圈的土山，頗有些欲哭無淚。身旁的士卒看著多日辛苦的成果白費，也多有沮喪之意。
劉賢見士氣大跌，又見大雨之后，土山被泡的十分松軟，擔心貿然上去會出事故，故而暫停了修建土山，心中急思對策。
如此又等了兩日，南陽方向的探子來報：“于禁、樂進援兵雖被大雨所阻，但也趁機修整了五天，大雨一停，便即精神飽滿地迅速南下，眼下已快到新野。”
劉賢聞訊，心下一驚。正忐忑間，就聽傅彤、刑道榮傳來書信，說二人領兵已過了當陽，不出數日就能趕到襄陽。
劉賢心下稍安，忽然又接到江夏太守魏延傳來的書信，劉賢展開一看，頓時大驚。
原來魏延在信中說孫權領兵一萬，溯江而上到達鄂縣，命令在蛇山修建城池，取名為武昌。將東吳所屬的江夏南部地區劃入武昌郡，又將江北的蘄春、邾縣新建一郡，稱為蘄春郡。任命黃蓋為蘄春太守，將軍王直、晉宗為副將。任命程普為江夏太守，孫皎、程咨為副將。
如今孫權將江東各郡縣公文多送到武昌處理，整個武昌、蘄春地區，云集了兩萬大軍，似乎有將武昌作為江東治所，以此就近窺視荊州之意。
劉賢看信之后，頓時心下一陣陰云，始終揮之不去。
要知道歷史上就是江東在背后捅了關羽一刀，這才使得關羽最終徹底敗亡，從而葬送了蜀漢北伐中原，一統天下的希望。
劉賢發自內心的對孫權不信任。
當下劉賢看了看縮水了近一半的土山，再看看北面陸續而來的曹軍援兵，又轉頭看看自家士氣大跌的一眾士卒，權衡了許久，這才終于下定了撤軍的決心。
于是劉賢親筆手書一封，將情況告知龐統，請他領兵速來會合。又命正在趕來的傅彤、刑道榮分別進駐宜城、當陽，接應大軍撤退。
龐統接到劉賢書信，思忖了一陣，也覺得以如今的形勢，再戰無益，當下命令全軍收拾行裝，交替掩護著往襄陽撤去。