褚遂良的家中，長孫無忌來訪，褚遂良當然是歡喜的迎接，張敬，刑封還有何清楓三人都抓不到褚遂良的一點把柄。那是因為褚遂良真的十分廉潔，他不貪財，不好色，唯一一次受到的處分還是在永徽元年，因為買房子出的事情。
都知道，大唐的首都長安，是古代著名的國際性大都市，天下四海的賢才商旅、各國的使節和留學生都匯聚于此，也是當時世界上人口最多的大城市。和古往今來大部分國際大都市一樣，在長安生活也有一個突出的問題房價太貴。
當時唐朝長安城的房價可謂“天價”，非長安本地的官員一般要到五品廳局級以上才有買房子的可能。而大部分官員要么是借住在朋友或者大戶的家里，要么就是租房住，比如唐朝著名的大詩人白居易就在長安當了近二十年的“蝸居族”。
因此長安的房價在唐朝是個很敏感的社會問題，中央朝廷針對房價問題也出臺了各種法律規定和政策措施，其中一條法律就是禁止達官貴人憑借自己的權勢以低于市場的價格來購買房屋，違者要判處徒刑。可褚遂良偏偏在這個問題上出了事兒。
永徽元年650年，時任中書令的褚遂良以極低的價格強買自己屬下一名譯語人翻譯在長安的房屋，結果遭到了一位御史的彈劾。最后卻判處褚遂良繳納罰款20斤黃銅約合現在7500元，不到褚遂良強買房屋省下費用的十分之一。
但這個處罰卻沒有執行，因為褚遂良在沒結案的時候就以宰相的待遇出任同州今陜西省渭南市大荔縣刺史。過了一段時間，褚遂良重新回到朝廷擔任宰相。而褚遂良回京后做的第一件事就是把之前彈劾自己的御史給貶到外地當縣令了。
“褚遂良強買房屋案”雖然不是一件大案子，但是在這個案件處理的過程中可以明顯地看到長孫無忌集團的活動已經開始凌駕于國家律法和社會公理之上。李治因為長安的“房價”開始警惕長孫無忌、褚遂良集團，這也為他們后來的失敗埋下了伏筆。
要說褚遂良無懈可擊那也是不對的，因為褚遂良其實是有自己想要的東西的，有人一定會問，那是什么
兩個字，黨爭。
這位褚遂良太喜歡權利了，也因為喜歡權利，所以他不惜黨爭，貞觀二十一年，褚遂良的父親褚亮去世，褚遂良回家守孝一年。貞觀二十二年，褚遂良被起復，同年被任命為中書令。從這時開始，褚遂良成了唐朝內部權力最大的人之一。
貞觀二十三年，李世民去世，李治登基。李世民去世之前，曾托孤于長孫無忌和褚遂良。就連李世民的遺詔，都是褚遂良寫的。李世民去世后，李治對他先貶后用。先是貶為同州刺史，外放三年后，再次調回京城，擔任吏部尚書。永徽四年，升至尚書右仆射，達到了權力頂點。
但是，在這個過程當中，不管是被外放還是被召回，褚遂良始終都堅持自己的黨爭習慣。
李治登基后，以長孫無忌和褚遂良為首的老臣黨，無疑是朝堂上最大的一股勢力。
但在接下來的幾年里，作為老臣黨的領袖，褚遂良和長孫無忌依然不肯止步，依然想靠黨爭奪取更多的權力。
這次的房遺愛案，其實就是是褚遂良和長孫無忌想要將家宗室內部的所有實權派，全都清理干凈跟著就是他們老臣黨一家獨大。