隨著職務的不斷升遷，謝靈運的派頭也水漲船高，每次外出猶如皇帝出蹕。
香車寶馬，前呼后擁，興師動眾，拉風招搖，與派頭一同見長的還有脾氣。
一次，因門生劈腿愛妾，謝靈運遂施家法家暴，將門生私自殺之。
門生親屬一紙訴狀將謝靈運告到官府，事實清楚，證據確鑿。
最終，謝靈運為自己的暴行埋單——被削職為民。
兩年后，時過境遷，謝靈運再次被劉裕請出，官復原職。
按正常劇情，復官的謝靈運應吸取教訓，夾起尾巴做人做官。
可是，謝靈運卻不走尋常路，仍不思悔改，任性使氣，逮誰噴誰。
一眾宵小和被謝靈運多次噴過的大臣遂見縫下蛆，多次在劉裕面前吹風撒鹽。
一來二去，劉裕也視謝靈運為異類，對其愛撘不理。
一腔熱血且自視甚高的謝靈運見日受冷落，遂心灰意冷，徹底躺平。
劉宋首任皇帝劉裕翹了辮子，劉裕長子時年十六歲的劉義符也即宋少帝繼位。
因年少資淺，朝廷大權旁落于徐羨之等幾位顧命大臣之手。
隨之皇帝易人，朝廷內部也重新洗牌，多位無名之輩得以嶄露頭角，成為新貴。
而文名廣布的謝靈運不僅官復原職，且進一步被朝廷和權臣冷落，屢屢被排除在中樞和決策圈之外。
“在改朝迭代的風波中，謝靈運一直因劉裕較為寬容的態度而沒有卷入斗爭的漩渦。”
“但身為太子左衛率的謝靈運，卻與劉裕的次子廬陵王劉義真交好，引起了朝廷權臣的不安。”
“永初三年，太子劉義符少帝即位后，廬陵王劉義真被廢為庶人并被徐羨之等人所殺。”
“謝靈運也被加以構扇異同，非毀執政的罪名被外放出守永嘉。”
“永嘉遠離朝堂，然而謝靈運志向遠大，內心憤慨不平。”
“到永嘉后，謝靈運不理政事，肆意遨游。”
“一年后又稱病離職，回老家游山玩水。”
“從弟謝晦、謝曜、謝弘微等人寫信勸誡他，未果。”
“魏晉以來，儒家思想衰落，求新求異的張揚之風頓起。”
“謝靈運的個性中這種與時俱進的張揚、躁動、傲然也正是其創作的主導因素。”
“他在老家會稽時與隱士王弘之、孔淳之等帶著仆人、門生好幾百人整天游山玩水。”
“探訪險峻高峰，縱放為娛，有終焉之志。”
“游歷時，他們開路搭橋，工程浩大，為了登山方便還都穿著一種特制的木屐。”
“他還常常作詩為樂，傳到京城引得人們競相傳抄，名聲大噪。”
“還寫下《山居賦》，用創新的自注形式描繪自己的這段隱居生活。”
“宋文帝劉義隆即位后，42歲的謝靈運被文帝任命為秘書監。”
“當時已經頗具名望的他本不肯就任，經光祿大夫范泰寫信敦獎之，才前去就職。”
“在任上，他率人整理秘閣圖書、補足舊文。”
“謝靈運祖上顯赫，自己聲名遠播，當時的統治階級也頻頻對他的才華表現賞識。”
“在這樣的情況下，他抱著較高的期待回朝。”
“既希望能在政治上有所建樹，同時也想發揮自己出色的文學才華。”
“卻發現自己的職位實為一個虛職，大為失望。”
“于是變本加厲地敷衍，經常稱疾不朝，平日里就是種樹養花、游山玩水，離開崗位從來不請假。”韓愈：謝靈運出身名門，深受宋文帝欣賞，還會被處死。