謝遷回府后便稱病不出，一連十天都在家躲著，覺得沒臉見人。
關于謝遷入朝跟劉瑾求情之事，次日也就是劉瑾和李榮掐架當天，便已經傳得朝野皆知，劉瑾故意讓人把這件事添油加醋說出去，想對朝中官員傳達一個信息：跟我作對沒有好下場，你們想安然無事最好跟謝遷一樣識時務，誰不配合別怪我下手無情。
這十天里，內閣大學士焦芳、王鏊，尚書李杰、屠勛等人都多次登門拜訪，但都沒能見到謝遷的面。
也就是這段時間，朝中人事又發生變化，戶部尚書顧佐致仕，刑部尚書屠勛和禮部尚書李杰等人也有告老還鄉的打算。
如今劉瑾已徹底把持朝政，就連御史言官也完全在劉瑾控制下，言路蔽塞，如此一來，朝中那些中立派已開始有了傾向，一時間劉瑾府上門庭若市。
“……唉，這世道滄桑，人心不古，好端端的朝廷不到兩年時間就變成這般模樣，若下黃泉見到先皇，真不知道該如何面對……這就是先皇留下來的太平盛世？”
謝遷雖然躲在家里不出，但他并非什么事都不管，朝中發生的事情基本瞞不過他。
他這邊舍棄尊嚴才救出那些陷身詔獄的朝官，但卻無人領情，背地里很多大臣都在非議他，覺得正是由于謝遷不作為才讓劉瑾做大。
對此，謝遷無法為自己辯駁，他感覺自己在跟劉瑾抗爭一事上處處被動，關鍵在于劉瑾能經常見到皇帝，又有最后的朱批權，而他權勢再大，也只是皇帝的秘書和顧問，沒法掌控大局。
“之厚再過幾日便要回朝，本想在他回來前，給他留一個不錯的工作環境，但現在看來……唉！”
想到如今朝廷混亂的局面，謝遷唉聲嘆氣，非常無奈，現在連他自己都沒法跟劉瑾叫板，也不指望沈溪回朝后能有何作為。
“最好讓之厚找個機會外調地方，不管當個總督還是巡撫，總歸好過留在朝中。他深得陛下信任，回朝后便會成為劉瑾的眼中釘肉中刺，如今劉瑾權勢熏天，之厚該如何跟劉瑾正面對敵？還是早些離開京城好！”
謝遷為沈溪的事情操碎了心。
當初他聽從吏部尚書許進的建議，同意沈溪回朝擔任兵部尚書，那時他覺得有沈溪在，可以跟他這個首輔攜手合作與劉瑾斗。
結果沈溪回朝前，他在跟劉瑾相斗中以潰不成軍收場，失去繼續與閹黨對峙的決心和勇氣。
這幾天謝遷在寫奏本，想跟朱厚照申請將沈溪外調，還給沈溪重新找了個地方，既然沈溪剛剛從三邊回來，那不適合再折返回去，西北不行就讓沈溪去遼東，好好經營一方沃土。
正德朝遼東之地女真人尚未崛起，大明在遼東占據絕對主導地位，雖然在大明朝官看來，遼東屬“不毛之地”、“苦寒之地”，但至少比西北條件更好一些，這邊沒什么大的軍事壓力，而在西北則成天為韃靼人犯邊之事而勞心。
“若此事能成，就讓之厚在遼東多留幾年，看看幾年后劉瑾是否會失勢，現如今實在不知該如何扳倒他。陛下不問朝政，滿朝上下俱為劉瑾所懾，就算還有一些忠直大臣，這會兒也都萌生退意，紛紛選擇致仕……難道只能等此權閹老死后，才能讓朝廷走回正軌？唉！”
到了這個地步，謝遷除了唉聲嘆氣，似乎不會做別的了。