元淵感受到了朝廷對他的不信任，于是向太后上疏：城陽王元徽與臣有私怨，對臣恨之入骨，臣現在在外領兵平叛，元徽居朝廷掌樞要，他誣陷臣無所不用其極；自元徽執政以來，凡臣上奏所請的事情，元徽都不批準；且元徽不只是陷害臣個人，跟隨臣出征立功的將軍，都被元徽排斥、詆毀、憎恨，尋找一切機會打擊他們，所以追隨臣的部下都十分的恐懼；朝廷上贊同臣的，元徽都去排擠，說臣壞話的，元徽都加倍親近；如今元徽在朝廷執掌尚書決策，臣在外十分恐懼擔憂，無法安心，希望太后陛下將元徽外放到州郡，使臣沒有后顧之憂，可以一心一意地為朝廷出力，早日平定河北的叛亂，盡忠朝廷。
胡太后看畢，只得先置之不理，大敵當前，她無法判斷城陽王和廣陽王疏是疏非。不久，胡太后改封義陽王元略為東平王，遷升為大將軍，接替元徽擔任尚書令。同時給元淵多次調兵，希望他能盡快平定鮮于修禮的叛亂。
此時幽州的杜洛周也在攻城略地，幽州刺史常景堅守幽州城池。他調兵遣將，指揮著幽州各地的力量跟杜洛周展開了拉鋸戰，雙方互有勝負，將杜洛周牽制在幽州一帶，使杜洛周南下受阻，不能與鮮于修禮會合。而元淵對于鮮于修禮的屢次鎮壓都未取勝，于是他打算采取外交攻略。在鮮于修禮的隊伍中，有很多是隨破六韓拔陵起兵而失敗后投降的勇士，這些劫后余生的兵士作戰勇猛，強攻會傷亡極大，且沒有必勝的把握；如果能從內部挑撥，然后招降，則有極大的勝算。
元淵很快發現了鮮于修禮部下的元洪業，并以高官厚祿將其收買。八月，元洪業誅殺鮮于修禮，向元淵投降。元淵立即派兵接應，然而就在此時，鮮于修禮隊伍中的葛榮后發制人，他利用鮮于修禮親信們的不滿情緒，誅殺了元洪業，并將元洪業與元淵的勾結情況公之于眾，于是群情激動。隊伍中被元淵早已收買的勢力也不敢再輕舉妄動。
葛榮帶領隊伍轉移陣地，北上向瀛州（今河北省河間縣一帶）進發，計劃在行軍中伺機反擊元淵。元淵揮軍北上，使左右都督帶兵緊跟著葛榮隊伍，自己率主力殿后。
九月十五日，葛榮率軍達到白牛邏（今河北省蠡縣、博野縣一帶）后，設下埋伏。元淵隊伍趕到時，葛榮率輕騎突擊廣陽王元淵左部，一舉擒殺左都督章武王元融，先鋒隊伍大敗而逃。元淵得知前方大敗，不敢進兵。葛榮大獲全勝，在隊伍中的地位得到了鞏固。然后，葛榮自稱天子，國號齊，改元廣安。
廣陽王元淵在前線的戰敗又給了城陽王元徽攻擊的機會，他串通侍中元晏在太后跟前說壞話。
“廣陽王在前線持續不動兵，怕是要坐等時變，現在朝廷內憂外患多難，太后萬不可不防呀！”
一時元淵要謀反的消息滿天飛。
侍中元晏進一步建議太后干掉元淵的左膀右臂于謹以防不測。
太后此時徹底迷茫，她命人在尚書省貼出了懸賞告示，懸賞于謹。按理說于謹就在元淵的軍中，直接一到圣旨就可以抓回來了，現在卻讓尚書省貼通緝令？這正是太后的聰明之處。要說對元淵一點懷疑也沒有，不可能，要說完全相信元徽、元晏等人，也不盡然。太后認為，如果元淵沒有異心，他必定會主動將于謹押解入京；如果元淵有異心，那么直接到軍中拿人等于逼元淵翻臉，所以太后此舉是在試探元淵。
于謹被通緝的消息傳到元淵軍中，軍營一片嘩然，將領都很氣憤。為了報答元淵在鎮壓六鎮匪徒時的知遇之恩，于謹決定自己到洛陽親自向朝廷表白。
面對朝廷鋪天蓋地的流言蜚語，元淵的內心感到了巨大的恐懼，心里想也許以于謹的口才可以到朝廷為他辨別清白，于是元淵心情沉重地將于謹送離了軍營。