建安十四年，荊州牧、鎮南將軍張武在馬超作亂涼州之時，突然偷襲武關，威脅長安。長安守將夏侯淵不敢再出兵攻打馬超，親自率兵到商洛抵擋張武，同時令人急報曹操。
曹操率二十萬大軍前來支援漢中，而荊州軍主力突然向江東發起進攻，以甘寧為滅吳大都督，龐統、諸葛亮參贊軍機，關羽、張飛、趙云、丁奉、文聘、劉磐等大將隨軍出擊。
江東大都督程普與副都督魯肅率軍迎戰，雙方水軍戰于廬江郡附近的水面上，而荊州軍的步兵趁機圍困了廬江的郡治皖城。
經過五天激烈的戰斗，江東水軍死傷慘重，終于抵擋不住了。
魯肅對程普說道“荊州水軍實力強大，鐵鎖連船難以應對，曹操大軍又被牽制在關中，無法前來支援。為今之計，廬江是很難守住了，不如退往秣陵，依托秣陵城抵擋荊州軍。”
程普雖然不甘心放棄廬江，但事已至此，再打下去江東水軍就要全軍覆滅了，只好聽從魯肅的建議，撤到秣陵進行防守。
但皖城那邊還有一萬士兵和呂范、朱恒呢，不能把他倆給扔了。于是程普派呂蒙帶一支船隊去接應防守皖城的呂范和朱恒撤退，等皖城邊撤走后，他再率軍撤退。
廬江離孫權的老窩吳郡太遠，不方便救援。如果柴桑和豫章郡還在江東手里的話，程普還有信心能依托柴桑城堅持上一年左右，說不定還能等來曹操的支援。但現在江東水軍不是荊州水軍的對手，皖城又在大江以北，很難與水軍相呼應。
甘寧也知道這一戰是非常關鍵的一戰，關系到整個滅吳計劃的全局，因此也是以求穩為主，絕不貪功冒進。
魯肅好幾次設計要將荊州水軍的鐵鎖連船引出來圍攻，但都未得逞，荊州水軍一直保持著陣型，不但各個鐵鎖連船之間互相配合呼應，還有許多樣式新奇的中小型戰船圍繞著鐵鎖連船作戰。
這些新式戰船速度快，轉向靈活，往往是貼近江東水軍的戰船一陣弓弩齊射后，轉頭就跑。
呂蒙率軍走皖水來到皖城之外，與守城的呂范取得聯系后，接應呂范突圍而出。在突圍的過程中被關羽、張飛、趙云率軍截殺，一萬士兵只逃出來三千余人，其余的不是被殺死就是投降了。
見呂蒙接應呂范和朱恒突圍而出，程普下令全軍撤退。
關羽遂率軍占據了廬江郡的郡治皖城，又令張飛、趙云領兵討平其余州縣。
龐統見廬江郡已基本平定，便來到水軍見到甘寧，一邊給柴桑的諸葛亮發送戰報，一邊勸說甘寧率軍追擊江東水軍，不要給他們修整的機會。
荊州水軍與江東水軍激戰了五天，雖然也有不少損傷，士兵們也很疲憊，但荊州軍的后勤體系完備，士兵們可以在追擊的路上，在鐵鎖連船上休息。
因此，甘寧令馮習率五千水軍和傷兵病號暫時留守在廬江，他率五萬水軍和文聘、丁奉追擊江東水軍。
江東水軍本來有六萬人，后來蕪湖、秣陵等地又來了一萬左右的援軍，經過幾天激戰之后，死傷兩萬多，現在還有四萬左右，這是江東僅存的水軍了。