如此過了五六日，就在呂蒙、韓當快要支撐不住，全軍將要崩潰之時，一個爆炸性的消息突然傳來。
魯肅領兵一萬七千人（包括增援），民夫三萬，經過前期的對峙和后期的猛攻，歷時五十余日，終于在付出死傷七千六百人，損失民夫近千人的代價之后攻破合肥。張遼拼盡全力，被流失射中手臂，眼見江東軍大舉進城，終于絕望。當下張遼只得下令全軍撤退，并在護軍薛悌的建議下焚燒了府庫之中的錢糧輜重，只率著殘軍三千余人出城，一路往北逃去。
魯肅大軍此時也已經精疲力盡，無力追趕，只得寫了書信將情況告知呂蒙，叫他不必再與曹軍死戰。
呂蒙收到消息，當即收整殘軍四千余人奔回陰陵，準備會合了周舫、程咨之后，看曹軍的下一步行動再決定是保守陰陵還是棄城而走。
呂蒙撤走之前并未將消息傳報劉賢，好在劉賢也一直留心著合肥戰事，早有斥候快馬將魯肅得勝、張遼敗走的消息傳來，劉賢還準備著再擋曹軍一陣，好分兵去堵截張遼，不想隨即就聽到呂蒙撤兵的消息。
劉賢不由心下暗恨，當下心中盤算起來：曹軍援兵四萬，留下三千人把守鐘離、當涂，這些天瘋狂進攻之下，損失六千余人，這么算來當面的曹軍還有三萬。
而自己這些天雖是節節抵抗，并未與曹軍硬拼，但也折損了騎步兵數百人。如今合肥被破，夏侯惇、曹彰等人必定會更加奮力進攻，欲要接應張遼回來。而如今呂蒙撤圍而走，自己若要阻攔曹軍的話，就必須分兵接管呂蒙留下的營壘。在如今兵力僅有兩萬的情況下，拉長了戰線之后，兵力就將被分薄，大軍的壓力將會陡然增大很多。
當下劉賢思前想后，最終還是決定撤兵，不再這個時候面對必定瘋狂作戰的曹軍。
于是劉賢傳令各軍，連夜撤退，往成德而去。又暗命馬超親領騎兵一千，偷偷南下，襲擊張遼。
夏侯惇、曹彰等人聞聽一日之間，劉賢、呂蒙紛紛撤軍，當下猜知必是合肥城破了，眾人擔憂張遼、李典等人的安危，顧不得追擊劉賢，急領兵往南，接應張遼。
此時張遼敗兵也逃到了合肥城北六七十里，回望江東兵沒有追來，而眾軍又都十分疲累，且天色已晚，于是張遼決定全軍休息一夜，明日再繼續北撤。住到半夜，就聽劉靖突然尋到李典道：“將軍，我們戰敗而走的消息此時必定已經被劉賢、呂蒙知道了，倘若劉賢連夜派遣輕騎來襲擊，我軍人困馬乏，如何能夠抵擋？為策萬全，將軍可建議張遼將軍暗中將部分兵馬調出營外休整。若是今夜真有敵軍前來偷襲，也好有個策應。”
李典聞言，當即找到張遼，說了劉靖之言。張遼深覺有理，當下只在營中留了少量兵馬，其余大軍調出營外，分左右埋伏。
到了五更時分，果然有一隊騎兵從北殺來，在大將馬超的帶領下吶喊著沖進營中，四處放火。但進營之后，看見營中空虛，馬超立即意識到中了埋伏，隨即大喊撤退。
張遼、李典急忙從左右殺出，欲要截殺馬超。馬超縱馬挺槍，當先突陣，正與張遼相遇，交馬只一合，那長槍擊打在張遼大刀之上，震得張遼左手臂上傷口迸裂，鮮血橫流。