對于子女的教育，李世民均是親自把關，唯獨李寬自幼跟隨在先皇身邊，也使得李世民在李寬心目中位置遠不如李淵，就連王槐等人都比他要重要得多，這是李世民心中的痛。
自從李寬認祖歸宗，承認其皇子身份，李世民對他也是置之不理，撒手不管的結果是李寬居然明目張膽的出入煙花之地，甚至還與人因青樓女子而動手，這讓李世民很氣憤。
“皇上，臣以為殿下不過是一時興起罷了，并非有意為之！”房玄齡沉默片刻，首次開口是為李寬辯護，李世民撇過頭，皺著眉頭，沉聲道：“出入青樓是一時興起？我看他就是有意的！”
“不滿皇上，臣與殿下見過！”李世民更加疑惑，堂堂的宰相怎么可能會與李寬見面，瞥見房玄齡臉上的尷尬，李世民瞬間明白為何會見過面，淡淡的問道：“哦！玄齡有何想法？”
房玄齡回道：“殿下與王妃的感情頗深，此事人所共知的事情。若是殿下真的私下里前往青樓，臣倒是不會懷疑。但是，此事越傳越廣更像是有人刻意為之，實不相瞞。那日臣不僅見到了楚王，更見到了楚王妃。”
“楚王妃與他一起？”
李世民大吃一驚，房玄齡將事情的來龍去脈說清楚后，李世民的怒火這才慢慢的消散，了解事情經過也知道了武珝與李寬是在一起，也就是說這次傳聞的事情刻意隱去了楚王妃的事情，斷章取義很明顯，所有的矛頭都對準李寬，絕對是有備而來。
“到底是何人所為？”
李世民震怒，居然有人敢刻意中傷皇子，簡直膽大包天，險些讓他自己都上當。房玄齡心里有個大膽的猜測，可他不敢說出口，沒有任何憑據的事情，房玄齡是不會輕易說出口。
李世民到想看看是誰有這么大的膽子敢惡意中傷楚王李寬，命人下去追查事情真相，房玄齡覺得這事就算是追查也不會有結果的。如果真如他所想的那樣，絕對不會留有任何痕跡。
“皇上，臣還有個不情之請！”房玄齡再次開口，李世民回道：“但說無妨！”
“臣懇請皇上收回成命，小兒頑劣非良配，斷了左腿不僅沒有反省反倒是更加肆無忌憚。高陽公主貴為千金之軀，嫁給小兒豈不是委屈了，為了高陽公主的未來著想臣懇請皇上收回成命，免去小兒與高陽公主的婚約。”
事情已經說開了，房玄齡也只得如實稟報希望借此機會讓皇上退婚，在他看來房遺愛與高陽公主不相配，自己兒子是什么樣的人他最清楚不過，要是高陽公主嫁給房遺愛，那豈不是讓她一輩子抬不起頭來，而且媳婦是公主，身為公公的房玄齡當真不知該如何面對。
“我說的話豈能收回？”李世民搖頭拒絕房玄齡的請求，正聲道：“高陽是我的女兒不假，就算遺愛有些不是，也不過是小孩子性質罷了，待他成家立業以后會有所改變，高陽嫁入房府我放心。”