大歷十一年（776年）八月，都虞侯李靈曜在汴州（今河南開封）叛亂，他殺死兵馬使、濮州刺史孟鑒，并勾結魏博節度使田承嗣，企圖控制汴州、宋州。
九月，朝廷詔命淮西、永平、河陽三城、淮南、淄青五鎮出兵討伐李靈曜。永平節度使李勉令劉玄佐率領永平軍主力前去平叛，劉玄佐進兵神速，他趁李靈曜身在汴州并無防備，偷襲宋州（治宋城，今河南商丘）得手。至此，李靈曜所控制的汴宋二州已失其一。李靈曜連戰失利。十月，即被諸鎮兵圍困于汴州城內。魏博節度使田承嗣見李靈曜危在旦夕，恐唇亡齒寒，立即派手下大將田悅率兵火速救援。田悅率兵南下，于劉玄佐的老家匡城擊敗永平、淄青兩鎮兵，并乘勝向汴州挺進。不料在汴州城北安營后，夜間遭淮西裨將李重倩率輕騎數百襲擊，大殺一陣，營內惶恐不安，此時劉玄佐率永平軍趕到，與淮西節度使李忠臣、河陽三城節度使馬燧合兵一處乘機進攻，田悅軍不戰而潰，損失慘重。
李靈曜見絕望無救，連夜出逃，逃跑中被俘，被送往京師處斬。次年，也就是大歷十二年（777年）朝廷將宋州隸屬于永平軍轄下，經永平節度使李勉奏請，授劉玄佐為宋州刺史。
唐德宗建中二年（781年），劉玄佐又被加封為御史中丞、宋亳潁節度使、宣武節度使，建號宣武軍。同年，平盧節度使李正己死后，其子李納封鎖消息匿不發喪，擅領軍政意圖謀叛，而其族人李洧以徐州（治彭城，今江蘇徐州市）歸順朝廷，十月，李納派遣其將王溫會同魏博將信都崇慶一起攻打徐州。李淆派人告急，朝廷下詔，令劉玄佐等諸軍援救李洧。
十一月，劉玄佐與神策都知兵馬使曲環、滑州刺史李澄及朔方大將唐朝臣共同援救徐州，大破魏博、平盧聯軍，斬首八千級，迫使其解圍逃竄，江淮漕運開始疏通。劉玄佐因功被加為御史大夫。此后，劉洽又克復濮州，收降敵將楊令暉。分兵攻略濮陽，招降守將高彥昭，打通了濮陽渡口。朝廷再次論功，加劉玄佐為檢校兵部尚書兼曹濮觀察使，加食邑四百戶，旋即加授淄青兗鄆招討使及汴滑都統副使之銜。
劉玄佐在屢立戰功，平步青云之后，仍然能保持清醒的頭腦，亦能知錯就改。他在鎮守汴州時，聽信讒言要殺將軍翟行恭，左右無人敢上前勸諫。處士（未任官職的讀書人）鄭涉為人詼諧，善用隱語，他求見玄佐，說道：“聽說翟行恭得罪了大人，大人借機想殺他抵罪，希望大人能答應我一個小小的請求，翟行恭行刑后，讓在下看看他的尸體。”劉玄佐覺得奇怪，鄭涉接著說：“我曾聽人說受冤而死的人，臉上表情和普通死人不同，我平生從未見過，所以想見識見識。”劉玄佐頓悟，查明真相后赦免了翟行恭。