二月二十一日，原豫章太守徐璒等人設宴招待王世積、權武等人，王世積不辨真假，欣然前往。
席間，徐璒等人密謀誅殺王世積，幸虧王世積部下死戰，王世積方才得免。而此時城中陳叔英聯絡的南陳軍盡皆倒戈，南陳舊卒揮舞著猙獰的鋼刀，向毫無知覺的隋軍殺去。隋軍大亂，不能自顧。
當時黃牽正在城北，見到城頭火起，心知不好。為了收拾局面，便率軍向城內殺去。
此時江州城已經大部陷落在南陳舊軍的手里。北門幾乎已失，雙方為爭奪北門，戰況焦灼，黃牽拼死才殺入城中。
王世積、權武等人狼狽不堪，也不管軍隊的事了，只是一個勁地逃命。多虧了黃牽的接應，才殺出重圍，匯合了黃牽的隊伍。
王世積此時渾身顫抖，心力交瘁，準備先行突圍。等到了南邊，引回千金縣公權始璋在南線接收江西的隊伍，再返回來收復江州。
黃牽卻反對這種做法，他對王世積勸道：“總管，現在城內雖亂，不過是因為敵人驟然發難，其實南蠻不多，我軍各部也皆各自抵抗。只要我軍整頓兵馬，反殺過去，必可將城中南陳亂黨一網成擒。若是現在放棄江州，則隔斷了江東與荊襄的聯系，若是南陳余孽借此串聯，使賊勢蔓延，恐遺大禍。”
“是本總管領軍還是你領軍，再敢胡言亂語亂我軍心者，殺無赦。”
王世積此時早就嚇破膽了，心氣全無，哪還敢再戰。斥退了黃牽，便繼續領著大軍向南逃竄。
陳叔英等人撤機掃清了隋軍在城內的抵抗勢力，徹底占領了江州城。原本一直在觀望的南陳降卒這個時候也紛紛換了旗幟，倒戈相向，一時之間，南陳軍軍勢大振。
紀瑱是老將，知道現在江州的強大是虛的，若是王世積將分散的各地隋軍召回，雙方還得相持一段時間。而那個時候，各路的隋軍早就反應過來了，楊素、賀若弼這些人也會率大軍向江州集結。
為了爭取更多的時間，紀瑱并不準備放過王世積，他一定要將其截殺。
趁著夜色，隋軍一路南逃，而南陳軍則緊追不舍。
看著南陳軍追得越來越近，潰不成軍的隋軍只剩下被殲滅的命運。眾人驚慌，不知所措，卻忘了手中鋼刀的鋒利。
這時候，驚慌失措的王世積強迫自己鎮定下來，卻反應過來，此次自己丟了江州，是個大罪。若是圣人怪罪，再加上蘄口的大敗，他就再無翻身的可能。
王世積不愿意背上這個罪狀。
看著黃牽，王世積決定就讓黃牽背這個黑鍋。
當時情況危急，王世積便命令黃牽留在原地阻擋南陳追兵，自己引救兵回援。而權武等人見可以趁機南逃，本就對黃牽連戰連勝不滿的他也同意此意見。
黃牽見此沒有辦法，便請求二人派兵埋伏在萬家嶺，接應自己。