就在他們心思各異的時候，田延年有動作了，他離席按劍，大聲說道：
“……如令漢家絕祀，將軍雖死，何面目見先帝于地下乎？今日之議，不得旋踵。群臣后應者，臣請劍斬之！”
田延年一番話，說得擲地有聲，殺氣騰騰，把一干大臣都給鎮住了。
霍光聽了田延年的話后，朝他施了一禮，說道：“九卿責光是也。天下匈匈不安，光當受難。”
話說到了這地步，文武百官也已經沒有辦法了，現在退縮現在就得死，不想死就只能附議了。
于是，群臣紛紛叩頭，說道：“萬姓之命在于將軍，唯大將軍令。”
霍光與群臣“商議”已定，旋即一起進宮覲見太后，將昌邑王劉賀不能為帝的理由一一向太后陳述。
這個掌握著“廢立之權”的太后復姓上官，是霍光長女和上官桀的兒子所生的女兒，說白了就是霍光的外孫女，而且如今也才15歲的年紀。
上官太后對外公霍光的奏請自然不會駁回，當即下令各宮門不許放昌邑王的潛邸舊臣進入，之后又召見昌邑王。
等到劉賀抵達之后，霍光等百官就開始在太后面前宣讀劉賀的“罪狀”：陛下……荒淫迷惑，失帝王禮儀，亂漢制度，……當廢。
皇太后下詔道：“可。”
霍光當即讓劉賀起身跪拜，接受詔令。
劉賀到此刻還是有些不敢相信，他對霍光說道：“聞天子有爭臣七人，雖無道不失天下。”
意思是說，我曾聽說天子身邊只要有七個諍諫之臣，即使無道也不會喪失天下。
霍光冷冷地說道：“皇太后詔廢，安得天子！”
皇太后都已經下詔把你給廢了，你還算什么天子？
隨后，他便上前抓住劉賀的手，解下他身上的璽綬，呈給太后，緊接著扶著劉賀下殿，出金馬門，群臣也緊隨其后，跟著送了出去。
劉賀此刻也知道事不可挽回，只好向西跪拜，自嘲似的說了一句：“愚戇（[gàng]）不任漢事。”
起身之后，他絲毫不留戀，轉身就登上了皇帝侍從的車輛。
霍光把劉賀送到昌邑府邸后，告罪道：“您的行為使自己被上天棄絕，我們無能，不能以死來報答您。我寧可對不起您，不能對不起國家。希望您保重，我永遠不會再見到您了。”
說完，他便哭著離開了。
劉賀當了27天的皇帝，就被趕下了皇位，成為了漢朝歷史上在位時間最短的皇帝。
當初，擁立他坐上皇位的，是權臣霍光；如今，策劃并且推動廢掉他的人，依舊是權臣霍光。
被廢之后不久，皇太后下令讓劉賀回歸昌邑，并賜給他湯沐邑二千戶。
而跟隨劉賀從昌邑國來到長安的那兩百多舊臣，只留下了三個人，剩下的全都被誅殺了。
這些在出獄受刑的時候，在路上大聲呼號：“當斷不斷，反受其亂！”
誰也不知道，這些人行刑之前喊這些話，到底是什么意思，或許這些話里，也有包含了對劉賀的失望之情？
然而，這些都已經不重要了。
劉賀被廢后，霍光痛定思痛，左思右想，最終擁立漢武帝曾孫劉詢為皇帝，是為漢宣帝。
漢宣帝即位后，對劉賀忌憚不已，還專門詔令山陽太守監視劉賀。
元康三年（前63年）三月，已經確定劉賀不值得忌憚的漢宣帝下詔，封劉賀為海昏侯，食邑四千戶。
一個月后，劉賀前往其封地海昏就國。
海昏，實際上是豫章郡下轄的一個縣。
原以為這輩子就這么平平淡淡地過下去了，誰知道，幾年之后，劉賀與故太守卒史孫萬世往來一事，被揚州刺史柯奏報了上去。
漢宣帝大怒之下，下令削去劉賀三千戶食邑。
神爵三年（前59年），封侯四年的劉賀郁郁而終，享年33歲。
這一位史上最“窩囊”的皇帝，也終于結束了他倉促的一生。