然而，潯陽太守馮道根認為直擊北魏精銳先鋒的風險太大，一旦失敗會挫傷整軍士氣，不如以逸待勞，尋找機會。
而陳慶之的想法與其相反，他認為敵軍剛剛到達正處于疲憊之際，兩軍距離又很遙遠，敵方一定不存戒心。趁他們的大軍尚未集結，出其不意必然勝之。
于是，陳慶之依靠樹林茂密的地形，帶領200騎兵，趁夜間襲擊了北魏的先鋒部隊。魏軍一時慌亂，銳氣大減。
陳慶之回師后，與各位將領聯營聚首。北魏軍隊與其對峙了一年之久，歷經數百戰，但始終無法攻破，致使魏軍人馬疲憊，士氣逐漸低落。
然而，魏軍依然沒有退兵之意，又在梁軍后方筑起了13座營壘。此時，梁軍的消耗也很嚴重。曹仲宗擔心受到北魏的前后夾擊，便有了撤軍的意思。
陳慶之聽后立即反駁，他認為遇難而退絕非是建功立業之舉。兵大量的武器和糧草豈不白白損失？
倒不如在被敵人合圍之時激發自軍斗志，士兵為了活命定會與其決一死戰，反而還有獲勝的可能。曹仲宗對陳慶之的言辭十分佩服，并聽取了他的建議。
后來，陳慶之在敵軍還未展開合圍之勢時，率先帶領騎兵趁夜色向魏軍的4座城寨展開襲擊，并全部攻克。
梁軍的士氣因此大震。渦陽的魏軍聞訊后十分恐懼，便秘密獻城投降。渦陽被梁軍占據。此時，敵方的城寨僅剩9座，但兵甲優勝。
陳慶之并未盲目進攻，而是釋放了30名北魏降兵，讓他們去各個營寨報告渦陽已經陷落的消息。
北魏這次出兵的目的就是為了向渦陽實施援兵，而渦陽失守的消息卻讓他們失去了方向，是攻是守，無法定奪，一時間不知所措。
陳慶之趁敵軍混亂之時，突然發起戰鼓，魏軍在梁軍的凌厲攻勢之下慌亂而逃，9座城寨全部潰敗。陳慶之乘勢追擊，斬殺數萬敵兵，俘獲3萬余人。至此，陳慶之聲名顯赫。
528年，北魏皇室發生內亂，爾朱榮帶兵鎮壓反叛并大肆屠殺。北魏的北海王元顥害怕禍及，便投靠了梁朝。
出于政治考慮，蕭衍準備利用元顥向北拓地，最起碼也能在魏梁之間建立一個防衛緩沖地帶。于是，蕭衍封元顥為魏王，命陳慶之將其護送至洛陽即位。
蕭衍原本對元顥也沒抱有太大希望，所以他只給了陳慶之7000人馬。可能是因為陳慶之身穿白袍，跟隨他的每個士兵也同樣如此，白袍軍因此得名。
529年3月，北魏亂賊猖獗，規模甚廣，而爾朱榮便率領大軍平定叛軍。陳慶之發現北魏守軍薄弱，便于4月率軍北上。
北魏的魏將丘大千領兵7萬據守，結果被陳慶之在一天內連破三城，丘大千被迫投降。為了阻止陳慶之繼續北上，北魏的元天穆也領2萬兵馬前來，屯駐到了四面環水的考城。
元天穆以為憑借天險，陳慶之的區區7000人馬根本無法攻克。然而，陳慶之卻在水面筑壘，一舉將2萬魏軍全部殲滅。元天穆敗走。
當陳慶之進抵滎陽時，遭到了北魏楊昱所率領的7萬羽林軍抵抗，始終無法攻破。
而北魏的內部戰局也突然轉變，爾朱榮用7000精兵剿滅了葛榮的幾十萬起義軍，同時還打敗了割據長安的蕭寶夤，其他叛亂也被紛紛鎮壓。
隨后，爾朱榮開始集結全部兵力對付陳慶之，讓元天穆率領大軍趕赴滎陽，又讓爾朱世隆率領1萬人馬進駐虎牢關，截斷陳慶之的退路。
可以說，北魏這次動員了國內最精銳的軍事力量。此時軍事奇才的爾朱榮是要把陳慶之剿滅于滎陽城下。
此時的陳慶之被敵軍包圍，梁軍士兵開始動搖。他讓士兵們稍作休息，給他們分析局勢。他認為元天穆所帶領的大軍全部都是騎兵，必然不能與之在平原交戰，否則必敗無疑。
他們唯一的希望便是在元天穆發動攻擊前攻下滎陽。同時，他告訴所有士兵一定要抱著決死一戰的信念，不能猶豫，否則只有被對方屠宰的下場。