但是到了貞觀三年，隨著李世民的皇位徹底坐穩，抓牢了所有權力，這一時的李世民急需讓裴濟滾蛋，然后讓自己的人上位。
不久之后，裴濟卷入妖僧法雅案，李世民就讓裴濟卷鋪蓋回了老家。想當年，裴濟可是唐高祖手下的紅人，如今卻成了太宗朝的棄子，回到家鄉，臉往哪兒擱呀？
他求著李世民想留在長安，李世民直接反駁：“你瞧瞧你自己那點功勞，哪配得上現在的地位？全仗著新皇的恩寵才排第一。”于是裴濟只能灰溜溜地回到了老家。
不過，回家之后的裴濟也并沒有徹底安生。這次裴濟的問題更令人無語。當時有個狂人去他家說他將來能做皇帝，裴濟自然大驚，想要將知道此事的家童干掉。
結果派去殺家童的人心慈手軟，把家童給放了。后來這個人因貪污被裴濟抓住，為了保命反咬一口，把這件事抖露了出來。
知道這件事的李世民直接拍板將裴濟流放到了今天四川旺蒼地區。這個地方在唐朝的時候就是所謂的蠻夷之地，是真正的流放之地。
裴濟被流放到邊疆之后，當地的土著作亂，有人傳說土著已經奉裴濟為主。但是這時李世民卻拍板說裴濟沒有問題。
果不其然，后來消息傳回來以后，大家才發現裴濟非但沒有問題，在當地平定叛亂的過程中還出了不少力。
到了這個時候，李世民才打算就此赦免裴濟，讓他回長安。結果消息還在半路上，裴濟就病死在當地了。
最終，唐朝初代宰相就此隕落。回顧裴濟的一生，其實既無大功，也無大才。他能坐上唐朝初代宰相的位置，不過是因為他會站隊，一直跟在李淵身后而已。
后來被流放邊疆，也不過是因為擋了李世民的路，被李世民順腳踢開而已。
簡單來說，裴濟就是一個運氣很好的普通人，運氣把他推上了高位，但他本人的才能卻注定他不會做出什么太過重要的事情。這大概也是他明明身居要位，卻在后世名氣不大的原因。
【大河以北的人支持安祿山造反嗎？歷史小知識】
安史之亂這場持續8年的叛亂，直接導致唐朝約3600萬人喪生，盛唐也因此隕落。然而，作為發起者的安祿山，現如今卻成為某些人口中“拯救河北的天降猛男”。
一直以來，網絡上關于“河北支持安祿山叛亂”的謠言逐漸深入人心，甚至安史之亂還被某些人視為“河北百姓反抗暴政的義舉”。
然而，當我們深入了解歷史之后，就會發現這種說法是完全荒謬的。
首先，我們來看看被某些人稱為“拯救河北的猛男”的安祿山，在安史之亂中對河北做了些什么。
公元755年12月，安祿山在范陽起兵反叛，安史之亂由此開始。叛軍從范陽一路南下，僅用了34天就從河北打到河南，并攻占了唐朝的東都洛陽。
根據史書記載，叛軍南下所經之處燒殺搶掠，無惡不作，暴行堪比“鬼子”。他們將精壯男子抓來當苦力，婦女被奸淫，老弱病幼直接殺死，甚至將尸體挑在槍頭上取樂。
安祿山的部將田承嗣也曾講述叛軍的暴行，稱他們“先后攻破河北150多座城池，挖墳掘墓，燒殺搶掠，無惡不作”。在叛軍之中，史思明尤為殘暴，他有一個習慣就是喜歡屠城。
安史之亂初期以及后來成為叛軍首領后，史思明長期在河北作戰。根據史書記載，他在經略河北時，每攻占一座縣城，都殺光城中的壯年男子，放火焚燒，搶掠一空，無惡不作。
最終，經過安祿山和史思明的禍害，河北之地百姓流離失所，家破人亡。
由此可見，某些人臆想的“安祿山為了維護河北利益揭竿而起，因此得河北民心，百姓喜迎‘真王’”的說法，純粹是無稽之談。