嚴嵩真的跪下請罪，嘉靖只是說道：“惟中你先起來，眼下這么多人彈劾趙文華，你說怎么辦？”
現在科道言官瘋狂的彈劾趙文華，大有不將趙文華罷官不罷休的態度。嘉靖現在確實有將趙文華罷官的打算了，眼下東南倭寇復起，嘉靖對于趙文華極為不滿。
但是嚴嵩還是準備保一下趙文華，畢竟趙文華也是嚴黨的中堅，嚴嵩的義子，嚴嵩說道：“陛下，倭寇本就飄忽不定，行蹤難以捉摸，乘官軍之空隙，襲擊淮安府，只要加強戒備就好，不必過于恐慌。”
嚴嵩很清楚趙文華有幾斤幾兩，解決倭寇，趙文華沒那個本事，能夠擺平倭寇的，胡宗憲、唐順之才是合適的人選，再次讓趙文華總督浙直，那就是讓他去送死了。
倭寇其實一直就沒有斷絕，只不過最近兩年在戚繼光、俞大猷的打擊之下沒有那么猖獗了，而且倭寇也不傻，他們發現官軍重點設防的是蘇南和浙江，官軍的精銳和水師也都多部署在此，尤其是這兩年以來，官軍的水師逐漸發展起來了，再想像之前一樣偷襲蘇南和浙江，除了吃飽官軍的鉛子之外，不會有其他收獲。
何況在遠海，王直也在配合官軍剿除倭寇，并向戚繼光、唐順之通報倭寇的動向，這兩年倭寇的襲擾確實很少了。但是這次倭寇襲擾江北，顯然給大明敲響了警鐘，倭寇仍然有可能襲擾大明的腹地，而且惡心的事情還不止一件。
浙江、南直隸等處的官員們上奏：永順保靖二宣慰司兵自浙江平寇還驕甚，無復紀律，所過肆掠。民緣江上下多被焚劫者。
浙江巡按御史屠仲律以聞請治諸將彭藎臣、彭翼南罪。
但是浙直的奏疏到了兵部之后，被兵部給否決了。兵部尚書江東奏稱：藎臣等平賊有功，新受恩賞，遽加罪黜恐孤遠人效勞之意。止宜日責之并治其部兵之首亂者。
但是江浙彈劾客兵軍紀敗壞的奏疏越來越多，嘉靖也不得不出面干預此事了。
嘉靖當即下詔：土兵沿途騷擾，本宜治罪。但念殺賊獲功，藎臣等姑勿問。今后浙直督撫官各遵前旨團練鄉兵御賊，不得輕調客兵。
同時將之前張經調來的狼兵盡皆遣返。但是倭寇對于江北的襲擾并未就此罷休，嘉靖一方面密令李芳通知王直協助官軍剿賊，一方面調兵遣將，加強江北的防務。
而朝堂之上，再次重設浙直總督的聲音也越來越大，在徐階的授意下，不少言官明里暗里都認為應該派趙文華去總督浙直，畢竟上次趙文華在浙直還真的平息了倭寇嘛。
其實徐階很清楚，趙文華本就不通軍務，上次能夠平息倭患，還不是靠著胡宗憲和唐順之，這次趙文華就不一定有這么好的運氣了，首先把趙文華排擠出京師，再借他御倭無方，絕對能把他拉下馬。