張四維雖然是出身商賈之家，但是他也不敢說將四民制度予以推翻，大明的這些官員們都是士這個階層來的，朝廷選拔官吏，也都是從士紳中選拔的，不夸張的說，與士大夫治天下，并不是一句虛言，朱載坖要宣布四民平等，在他們看來，無異于是大逆不道的，所以連張四維等人都不敢支持朱載坖。
申時行也說道：“陛下，四民之制，自管子起，今已千年，豈可遽而廢之？陛下其慎之！”
朱載坖聽了之后說道：“是啊，天子重英豪，文章教爾曹；萬般皆下品，唯有讀書高。卿等以為然否？”
重臣們雖然沒有明確回應朱載坖，但是朱載坖很清楚，他們心里肯定是這么想的，文華殿內的氣氛一時之間有些凝重了，君臣之臣的對抗和分歧顯而易見，太子朱翊釴連忙出來說道：“父皇，而今之事，還是要解決工商賦稅的問題，其他之事，容后再議！”
太子出來打了一個圓場，張四維趕緊說道：“陛下，太子所言極是，賦稅之事，干系甚大，宜先處之！”
朱載坖看了太子一眼，這才說道：“此事確實是要務，首輔要多用心，然后條陳上疏以聞，朕今日乏了，卿等先回去吧！”
朱載坖下了逐客令，臣子們本應該行禮離開，但是東閣大學士王錫爵卻上前一步說道：“陛下，皇長孫現今正是受教之時，陛下卻使皇長孫沉溺武事，非教養之道也！”
朱載坖突然起身，走到王錫爵面前，盯著他一字一句的說道：“王學士，此事卿不當與聞！”
面對朱載坖突然的發怒，重臣們趕緊行禮之后離開了，回到文淵閣內，張四維對王錫爵說道：“元馭，今日冒失了！”
王錫爵此時也有些后怕的說道：“元輔教訓的是！”
張四維說道：“陛下是何等英察之主啊！陛下圣慮遠大，非我等所能及也，有些事情，我等不插手的為好。”張四維隱晦的敲打了王錫爵之后，閣臣們開始處理政務了。
在臣子們走后，朱載坖和太子兩人在文淵閣內，朱載坖笑著說道：“太子現在確實是長進了！”朱載坖說的是剛才朱翊釴及時將話題岔開，否則的話，就可能真的出現君臣對峙的局面，這對于朱載坖來說，并不是一件好事，畢竟朱載坖還是需要這些重臣們處理政務的，要是內閣和部院重臣們都和朱載坖過不去了，那朱載坖會很痛苦的。
朱載坖問道：“太子怎么看此事？”朱載坖問的是有關四民平等的事情，朱翊釴思考了一下說道：“父皇，四民平等，確是善政，但是讀書人未必愿意啊！”
這點朱翊釴確實說對了，對于四民平等，最大的阻力就是朝廷上的官員們和這些讀書人，他們認為自己是要高人一等的，畢竟即便是天子，也要和他們共治天下，沒有這些官僚們的協助，朝廷就無法運轉，這點朱載坖是很清楚的，他們是肯定要維護四民制度的，他們其實維護的是他們的自己的利益。
四民制度其實就是所謂禮法的一個重要部分，同時分類的方式將士紳階層置于所謂四民的最上方，這樣就以戶籍分類的方式將士紳的特權予以承認了，在朝廷的行政當中亦是如此，所謂刑不上大夫，禮不下庶人，都是四民制度的體現，這點朱載坖是很清楚，這種制度當然有利有弊，但是現在來看，顯然是弊大于利了，這種四民制度極大的束縛了大明百姓的創造力。不利于技術進步，所以朱載坖才動了將之廢除的想法。
但是朱載坖才剛剛提出這個事情，閣部重臣們的反應就如此之大，可見此事的難做，朱翊釴當然也知道這件事情的難度，他對朱載坖說道：“父皇，現在提此事，是不是過于急了。”
聽了朱翊釴的話，朱載坖只能苦笑了，朱載坖指著自己已經斑白的發鬢說道：“急？朕當然是急了，朕還有多少時間，不急行嗎？”
朱翊釴趕緊說道：“父皇何至于此啊！”
朱載坖只是笑了笑，然后對朱翊釴說道：“近日有關皇長孫講學一事的奏疏，送朕這里來，朕要看看他們都說了什么。”
朱載坖回到西苑之后，司禮監趕緊將這些奏疏送達朱載坖案頭，朱載坖仔細看了看這些官員們的上疏，其中一些人的言辭頗為激烈，如刑部云南司員外郎姜應鱗、吏部驗封司員外郎沈璟、刑部督捕主事孫如法等人的上疏極為激烈，他們認為朱載坖不重視皇長孫的教育，就是對大明不負責任，同時他們認為朱載坖讓皇長孫接觸文思院的工匠和武將是親近奸佞，要朱載坖立即糾正此事。
朱載坖看了他們的奏疏之后，不僅冷笑了起來，合著大明除了他們是忠臣之外，其余的人都是奸佞，對于這種無端扣帽子的行為，朱載坖一向是十分警惕并且予以嚴懲了，看了這些奏疏之后，朱載坖當即命令將這三人下詔獄嚴審，要讓他們交代幕后主使出來。
除此之外，對于上疏言辭激烈的官員，朱載坖分別予以降調極邊雜職、編管、罰俸等不同程度的處罰，因此事受到懲處的官員超過五十人，在整個隆慶朝，朱載坖也沒有如此大規模的處分官員，首輔張四維、次輔申時行等閣臣當即上疏申救，但是被朱載坖所駁回，同時其余上疏申救的官員也被朱載坖所處分。
而且朱載坖還拒絕接見重臣，深居西苑，即便是內閣輔臣請求召見也被朱載坖所拒絕了，無奈之下，左都御史楊繼盛到西苑請求召見，他是朱載坖在潛邸時的舊臣，和朱載坖關系非同尋常，所以即便是朱載坖不見其他重臣，但是楊繼盛請求召見，朱載坖還是在西苑無逸殿召見了他。
楊繼盛行禮之后，朱載坖說道：“楊卿，這里是先帝當年議政之所！”</p>