他是一個相當精明的人，很早就告老還家了，李唐建立之初，李淵為了收攬世家大族的人心，大封官位爵位，世家大族占據了朝中所有重要職位，是以李唐四平八穩的占據了關中、巴蜀、荊州等地，李淵剛開始或許能夠忍受，但隨著唐朝疆域逐漸縮小，造成了官多如狗的局面，這些大小京官高達三千余人，這其中職位重復、責任重復的多不勝數，這些人沒事也能鬧出事來，到了有事的時候就相互推卸責任，不但對我唐朝發展毫無意義，反而存在巨大隱患。此種情形，免去無意義、無價值、無能力、無作為、重復出現的官員以振興朝綱朝政，乃是勢在必行之勢，否則，這無效率、且為朝廷造成沉重負擔的官場，將會成為李唐大敗之因。
識趣一點就自己下去，比如他裴矩，不識趣者，下場估計不會太妙，裴矩可是聽說了，李淵打算向亢官亢員開刀了。可是減員之后又會產生諸多問題：減員，如何減、減誰？裁減之后如何又如何安排？這些都是讓人頭疼問題，處理不好會引發動蕩。面對亢官亢員這種現象，便是大一統的王朝都選擇了聽之任之，以免動搖根本。就是這聽之任之的做法，導致亢官亢員到了真正危害國家的時候，已經無從處理。
在裴矩來看，裁員裁官這也是李唐目前最好的求生之道，不然的話，亂轟轟的朝堂還會成為軍隊失敗的病根，但這做法會導致大多數人利益受損，人家會答應嗎？尤其是李唐王朝目前的處境相當不妙，這么一搞，李淵必須做好大亂的心里準備。但作為一個開國之君，就應該在權力斗爭上，既要心胸開闊、人盡其才、海納百川，也要冷酷無情的鏟除異己，鏟除無能之輩，給忠誠的真正人才讓路。
這一方面，人家楊廣祖孫就做得相當好，比如說楊廣把九等爵位削減為三等，淘汰六成無能庸碌之士，就是相當高明且有思路的做法，如果不是他既要開拓、又要治吏，太過急功近利，以大隋當時的鼎盛，便是關隴集團聯合造反，也撼動不了大隋國基，又哪來今天的亂世？但作為楊廣的重臣，裴矩也明白楊廣當時著急之因，楊廣子嗣單薄，四個兒子二死、一廢、一幼，三個孫子也都年幼，他是怕自己不在了，子孫鎮不住關隴集團，隋朝被關隴集團所篡奪，所以他才急著在自己有生之年將軍權在手的關隴集團廢掉，但也是因為急于求成，且天災不斷，導致天下大亂，各個世家紛紛扶持傀儡，以之為先鋒，一步步瓦解大隋王朝威嚴，最終推出了李淵去收拾殘局；可關隴集團料不到，楊氏之中還有如是厲害的子孫，愣是在兵鋒四起的時候，挽將傾之大廈，重新將大隋扶正，并將之經營得蒸蒸日上。
裴矩相信經此一役，天下世家都會元氣大傷，陷入一個相當疲弱的蟄伏期，如果勝出的是李淵，那么世家還有一線生機，還能在幾十年內卷土重來，但如果勝出的是楊侗，那么，世家將被大隋官制死死壓制，幾十年后即便能夠步入朝堂，那也不能恢復之前的鼎盛，只因在大隋的教育之下，寒門將會產生出大量的人才，才華橫溢之士或許很少，但架不住寒門龐大的人口基數，你世家就算人人是精英之士，可一萬個寒士總有一人的才華與你的一名子弟對等吧？如此一一平攤，失去了朝廷支持、失去了把持朝廷命脈絕招的世家憑什么可以像之前那樣，得以延續千年？一個家族只要在一兩代內，沒有出一個杰出的扛鼎人才，那么，它沒落必成定局。
同時，新生的世家也不能延續丟掉，在這種大勢面前，沒有一個可以強盛三代，競爭實在太大了，你要是不出色，被人取代是正常的事情。那是一個強者為尊的時代，官官相護的現象固然會有，卻也不能危害到整個國家的根基，頂多只能為禍一方，可是以大隋那種預備官吏監督地方官員的制度而言，這種靠關系上位者，又能藏得了多久？那些預備官吏恨不得把你搞死，才好上位，你自己一旦有把柄落到他的手上，他不抓緊利用才怪，還給你為禍一方的時間？想都別想。
勢是什么？其實就是人的心，如果想左右一個人的心思，很難，哪怕裴矩也不行，而一個人的心，難以影響大局，而勢則是大多數人心**有的利益，只要滿足大多數人的利益，這些人就會擁護你。
楊侗種種治國、治吏方子不僅符合皇家利益，也符合九成人口的利益，如此一來，皇家利益也成了天下人共同的利益，那受惠的九成百姓又怎么可能反？而那不足一成的人口，你沒有那伙與皇室利益相同的人支持，你就反不了、反不起來，這便是大勢所趨。
裴矩逐一摸索到了隋朝新制的門路了，他發現此制是人與人之間的較量、人與人之間的競爭，與你的家族無關、與你的關系也無關，甚至彼此之間，還存在著利益間的競爭關系，如果家族有兩個人競爭同一職位，失敗者心中肯定不甘、不爽，這樣又怎么可能與勝利上的人同心同德經營一個家？又怎么可能組建成一個鐵桶一般的家族？初時或許能夠相互忍讓，但以后呢？誰沒有屬于自己的私心？
如此一一梳理，裴矩發現以往的玩法已經不行了，至少在隋朝是不行的，而即便是隋朝敗了，那他所創制的制度也被延續，因為它符合任何一個王朝皇族的利益，所以別看李淵罵楊侗最狠，一旦他統一了天下，依舊會搬來，換一個名目使用。
他倒是看穿了這新的套路，因此致仕之后，努力教導族中子弟，希望他們在未來有競爭的能力、生存的能力，若是子孫后代出一兩個像他和裴蘊這樣的人，裴氏未必不能輝煌。
這時，魚竿的浮標一動，是有魚上鉤了。裴矩剛要拉起魚桿，管家匆匆跑來大喊：“老爺！長公子來了。”
“來了就來了唄，有什么大驚小怪的？”裴矩發現剛剛上鉤的魚兒跑掉了，有些不爽的重新上餌。
“父親！”不一會兒，長子裴宣機匆匆而來。
“何事慌里慌張的？天塌不下來。”裴矩瞪了長子一眼，這是長子在李唐禮部擔任一名郎中，這是裴矩以前的部門，裴宣機經過這么一安排，頗有點子承父業的意思，但對他兒子很失望，尤其是此時，他似乎聞到了長子身上有燒焦的味道，四十幾歲的人了還這么毛躁，這樣的人何以繼承自己的家業？