除了這些所謂的學霸之外，朱載坖還有一個要重點打擊的對象，就是所謂的山人團體，這些所謂的山人，逼格要比學霸高那么一些，這些山人大多是標榜不入仕的士人或從事某種特定職業的江湖游士，說的好像自己的放浪形骸，不屑于官爵，根本原因不還是他娘的考不上，他們只能淪為權門走狗。
從弘治以來，這種風氣是越來越盛了，最開始勛臣貴戚們豢養這些山人，因為他們有錢，也愛附庸風雅，豢養一些山人以供玩樂也不稀奇，但是如寧藩這樣的心懷叵測的人，則是利用豢養山人陰圖不軌。
還有原南京錦衣衛指揮使徐天賜，就長期豢養著一幫子山人，不過徐天賜豢養的都是些文人，他自己也以東園主人自居，隨著山人的流行，大量的無業流民四處流竄，朝廷的官員們也開始豢養起這些所謂的山人來了。
豢養這些山人最出名的就是胡宗憲了，他在當浙直總督的時候，搜羅了一大批的山人為其所用，不過胡宗憲的這幫山人倒是確實很有一些人才，如徐渭、茅坤等，都是一時人杰。
除了這些督撫大員以幕友的名義豢養山人之外，朝廷重臣們也多有豢養山人的行為，甚至連嚴嵩，也有豢養山人的行為，不過嚴閣老畢竟是大才子，所豢養的山人也是很有逼格的，他養的是吳擴，這位吳擴是昆山人.以布衣游縉紳間.工詩，嘉靖中避倭亂居金陵，嘗遍游南北各省，至老不衰。經常與嚴嵩詩詞唱和，成名后的吳擴晚年在秦淮河畔造長吟閣，接納“山人”與四方之士，間接幫嚴嵩揚名。
徐階一向以禮賢下士而聞名，徐家優勢家大業大的，所豢養的山人更是不少，不過徐階所豢養的山人中，最出名的是沈明臣，他本是胡宗憲的幕友，胡宗憲倒臺之后，便到了徐階的幕中，是大明文壇的巨匠，號稱當今三大布衣詩人，而且他還有一個好侄子，叫沈一貫。
其余的李春芳、袁煒等人也多豢養山人，唯二的兩個對這些山人深惡痛絕的就是高拱和張居正，高拱和張居正都很反感這些山人，尤其是張居正，他不僅反感山人，更加反感這些所謂的心學門徒，因為自從徐階、李春芳、趙貞吉等一眾心學大佬們官拜大僚之后，心學現在更是成為顯學，到處都是談論心學的人，這些人倒不是真的信奉心學，而是希望通過清談心學，謀求到一條晉身之階罷了。
高拱、張居正兩人對于這些山人都很不感冒，尤其是張居正，從他擔任首輔以來，就一直致力于打擊這些山人，現在朱載坖終于有機會收拾這些山人了。
主要是這些山人現在已經觸及到了朱載坖的底線，朱載坖不能不收拾這些人了，現在這些山人不僅僅在勛臣貴戚、朝廷大員的家中，甚至連邊鎮大將們也開始豢養山人了，要說起來，這個頭還是俞大猷、戚繼光這兩人開啟的。
這兩位都是當世名將，更是儒將，所以他們對于這些所謂的文人墨客一向優容，尤其是俞大猷，他還一向和心學子弟交往密切，一批智謀型山人在俞大猷府中活動，如陳第、顏均等王門學者以及云臺山人李杜，在其府中參謀軍事。
戚繼光則是更甚，因為戚繼光儒將風度，除了武將身份之外，同樣也是一位詩詞高手。戚繼光性情豪邁，喜歡結交文人墨客，在《止止堂集》中，收錄了他大量的詩歌，據不完全統計，在其《止止堂集》中收錄的詩歌中，與官員、山人的詩歌有70首以上。可見其的友人圈不僅僅在于軍事界，大量的生員，山人也是其交友的對象。
很多山人慕名前來投靠，戚繼光在外征戰之際，閑暇之中，會與身邊山人出游，除了探討軍事戰略，而且還能觸景作詩，互為對唱，使得戚繼光的儒將之名更加響亮。
而且在戚繼光處混飯吃的山人也很多，山人鄭若庸、王寅，周山人周天球、呂時臣等，但是其中和戚繼光交往最深，名氣最大的，還是玉融山人郭造卿，他是可是羅洪先的學生，羅洪先可是江右王門的創始人之一。
這些山人們大量活動在邊鎮大將的身邊，引起了朱載坖的警惕，想干什么？想當嚴莊嗎？朱載坖又不是唐玄宗，現在也容不得安祿山，所以朱載坖對于這些山人聚集在邊鎮大將身邊是決不能容忍的。
除此之外，這些山人上躥下跳，制造流言，分裂朝廷，構陷大臣，這也是朱載坖所不能容忍的，從張居正擔任首輔以來，一改徐階、李春芳時代對于山人們的優容，對于他們毫不客氣的予以打擊，在張居正看來，什么狗屁山人，不過就是些流氓罷了，張居正對于這些山人是毫不客氣的。
他多次要求地方督撫清理山人，同時嚴厲的打擊這些山人，在張居正的授意之下，如勞堪、張學顏等人開始嚴厲的搜捕山人，這些山人也不甘示弱，大量制造流言蜚語，試圖讓張居正等人下臺。
他們所制造的這些流言蜚語，是朱載坖所不能容忍的，他們試圖公然在中下級官員中畫線，使一些在官場中只能意會的潛規則”公開化，并在輿論上導引了派系的劃分。他們所散播的流言，既是指名道姓的人身攻擊，更提出一種價值導向：凡抨擊皇帝及內閣、內監者，都是君子；凡維護皇帝及內閣、內監者，都斥為“犬”、“羊”。換言之，與“廟堂”作對者就是君子；為“廟堂”辯護者就是小人。
朱載坖很清楚這種流言風氣的后果，到時候朝廷和民間就會割裂，朝廷重臣們利用山人去扳倒政敵，黨爭會愈演愈烈。
他們企圖通過制造流言蜚語，裁量人物、議論乃至干預時政的方式，這是朱載坖所絕對不能容忍的，朱載坖絕不受脅迫，更不會受這些山人的蠱惑。</p>