李治平時脾氣很好，可骨子里卻又很執拗，最是吃軟不吃硬的那種人。
褚遂良不來這一套還好，他本來還想著就讓褚遂良滾蛋算了，拿捏一下沒馬上同意，也不過是為了壓一壓他，誰能料到這個老匹夫，居然倚老賣老來這一套。
“褚相請起！”
褚遂良卻根本不理會年輕的皇帝，他繼續叩頭，一邊叩還一邊開始陳述當年他跟著太宗皇帝時的事情，甚至說起當年太宗病重駕崩前，在御榻前拉著他的手，向他托孤顧命之事。
李治此時哪聽的進這些話，越聽越覺得褚遂良是在向他倚老賣老，臉色越來越難看，最后忍不住一拍御案。
“夠了！”
“來了，將褚遂良拉出去。”
“老臣有負先帝所托啊！”褚遂良還在大叫，可李治已經聽不下去了。
數名千牛備身步入殿中，一左一右的扶起褚遂良就要拉他走。
褚遂良見事情朝著自己沒預料到的方向發展，也是有些意外，他掙扎著拒絕出去。
長孫無忌和來濟、韓瑗等人也開始為褚遂良求情。
可越是這樣，李治越怒。
李績這個時候站出來，對著褚遂良說道，“褚相也是一代名臣，兩朝元老，怎么如今臨老了卻做出這樣糊涂之事來呢？跟一無知婦人一樣，撒潑打滾，太失體面，將陛下置之何地？將朝廷臉面置之何地？”
李治氣的站起來，揮發怒道，“將他拖出去！”
這下千牛備身再不管褚遂良如何撒潑，架起他就往外拖。年邁的褚遂良如何是四個年輕千牛的對手，叫嚷著還是被越拖越遠。
人被拖出去了，可李治還是憤怒不減。
“毫無體統，居然已經昏庸到此等地步。擬詔，削奪褚遂良河南郡公爵位，罷褚遂良同中書門下三品稱，罷中書令職，貶為潭州都督，令他三日之令離京赴任。”
一貶到底。
不過還是留了一點臉面，潭州，原為長沙郡，武德三年改為潭州都督府，管轄七州三十四縣，潭州都督府是中都督府，都督三品職。
隋煬帝廢除總管府之后，到唐高祖武德初又恢復了，不久改名都督府。一般置于“緣邊鎮守及襟帶之地”。唐初規定，管十州以上的為大都督府，不滿十州稱都督府。玄宗開元時進一步規定，戶滿二萬以上為中都督府，不滿二萬為下都督府。
大都督一般由親王遙領，都督既管軍事也管民政，但如褚遂良這樣的朝中大臣貶職，一般稱為左降官。這種官雖然有官名，但其實到了地方并不能任實職。褚遂良就算到了潭州當都督，雖然依然是三品，可潭州都督府的實職卻將由別駕和長史、司馬代理分管，他只是有名無實而已。
尤其是潭州遠在長江以南，當時的潭州設置都督府，可知這是邊遠蠻荒之地，褚遂良這一去，也算是一腳踹到了底。
長孫無忌上前，想要再為褚遂良爭一爭，可李治卻已經狠甩袖袍，大吼一聲此事就此決定，再無更改。
長孫無忌嘴唇動了動，最后還是咬牙閉上了嘴。