朱翊鈞已經看完了薄薄的明穆宗實錄，他對高拱的政績是不認可的。
隆慶元年，以高拱為首的晉黨和以徐階為首的徐黨，在朝中進行了激烈的黨爭和傾軋，高拱被抓到了把柄，最后在隆慶元年五月，被言官給彈劾倒臺，被迫致仕回鄉。
高拱之所以倒臺，和隆慶元年的胡應嘉案有關。
隆慶皇帝剛剛登基的第一年，考察庶官，吏部尚書楊博，負責考察京官，貶斥言官鄭欽、胡惟新，吏科給事中胡應嘉對楊博發出了質詢為何在正月的考核里，山西人無考核下等者彈劾楊博考察官吏不公，上下其手，營私舞弊。
高拱認為胡應嘉是黨同妄奏，擬旨斥為民，這一下子引起了言官們的激烈反彈。
五個月內，廣東道試御史齊康、南京吏科給事中岑用賓、湖廣道御史尹校、兵科都給事中歐陽一敬、南京廣東道御史李復聘、工科給事中李貞元等等數十人接連上奏彈劾，高拱只能反復上奏請求致仕。
隆慶元年五月，高拱致仕回鄉。
高拱之所以倒臺，是因為吏部尚書楊博，曲庇鄉里、包庇山西籍貫的官吏，以私憤謫諸官，黨同排異，高拱回護。
高拱被罵為國之巨蠹，大明朝的蔡京，在政斗中，恥辱的離開了京堂。
這是在政斗的方面，高拱的狗斗術遠不如徐階，更遑論張居正了，張居正活著的時候，這些文官誰能斗得過張居正
徐階最后也被掀翻了，罪名是尸位素餐奉職無狀，嘉靖年間，皇帝事神仙土木，而徐階作為輔臣，不能責難陳善也就罷了，還多數贊同，還讓兒子徐璠主持永壽宮之事；徐階和嚴嵩締交連姻，徐階更是十五年時間內，無一言相忤嚴嵩，等到嚴嵩倒臺徐階立刻攻訐，為人臣不忠、與人交不信。
最重要的是，胡宗憲瘐死案，讓徐階太被動了。
隆慶二年七月，徐階致仕回鄉，離開了朝堂。
隆慶二年八月，張居正上萬言書，條陳六事振奮朝綱，這道奏疏就是張居正赫赫有名的陳六事疏，針對國朝種種弊病，提出了具體的方案和解決辦法。
隆慶皇帝面對冗長的陳六事疏，下章六部復議，最后復議的結果是，都察院、兵部、戶部、吏部全都反對，最終隆慶皇帝批復了一句，知道了。
隆慶三年十二月首輔李春芳、張居正等請命復啟用高拱，高拱入閣掌吏部事兒，開始了高拱當國的時間。
這段時間，其實高拱辦了一件大事，那就是俺答封貢。
通海運的是梁夢龍，那是張居正的門下，整飭邊方是戚繼光，那也是張居正的門下，戚繼光督師薊遼的時候，高拱還在新鄭老家心心念念的等待著朝廷重新啟用；舉薦殷正茂的是張居正的嫡系湖廣道御史陳堂，力排眾議讓殷正茂前往兩廣任總督的是張居正。兩廣總督這個職位是張居正和高拱正式決裂的關鍵時間。
殷正茂的表現不俗，雖然剛到吃了點敗仗，后來拆人家門湊軍餉，終于把兩廣安定了下來。
朱翊鈞讀完了明穆宗實錄，對高拱的政績，并不認可，覺得高拱無能，他個人覺得高拱不厲害，尤其是高拱的第一次倒臺，是包庇楊博庇佑晉人。
至于第二次，朱翊鈞是事主，高拱要敲掉的是萬歷皇帝的爪牙，取締司禮監。
朱翊鈞看高拱是站在自己的立場上，帶著濃重的有色眼鏡，畢竟要敲掉的是他爪牙，他當然不樂意，看高拱自然鼻子不是鼻子，眼睛不是眼睛，面目可惡。
當然可能是他面前的帝師，帝國的元輔張居正，實在是太能干了以至于讓皇帝產生一種錯覺，天下首輔本就應該這么能干。