但是楊廣知道很多青樓的幕后東主是關隴貴族，而關隴貴族不但是大隋王朝的威脅者，還是支持嫡長子楊勇的利益團體，諸如宇文弼、薛胄、柳述、元巖、元壽之流，不但位高權重，而且背后都有一個龐大的門閥在支持，尤其是獨孤氏和元氏、竇氏等等大門閥，更是楊勇一貫的支持者。
雖然楊廣已經看到九五之座是屬于他的寶座，但是支持楊勇的勢力實在太大了，若是父親以后不在了，有這些人支持的楊勇未必不能以暴力的方式翻盤，而大哥那性子，就算贏了自己，也控制不住那些人，最后的好結果一定贏得了皇位、卻失去了江山，所以不管是為了自己，還是為了大隋江山，楊廣始終都不敢大意。
他本想借此事件，把失去一切權力的支持楊勇的賀若弼一族徹底摧毀，如此可謂是公私兼顧、一舉多得，但是父親卻始終顧念舊情，白白浪費了削弱關隴貴族的良機，這令他大為沮喪之余，便退居其次，準備以盤查平康坊青樓為由，剪除一些門閥羽翼，這樣總比什么都不做為好。
“做這些小事，除了打草驚蛇之外，半點意義都沒有？”楊堅看了楊廣一眼，嘆息道：“關隴貴族絕非你想象中那么簡單，比如說軍隊之中，每個家族都有幾十、幾百個子弟擔任中層武官，他們控制了數目龐大的軍隊，如果加上他們門生故吏、門生故事的子弟，以及提拔上來的人，他們控制的軍隊就更多了。在沒有解決這些問題之前，如果你步步緊逼，后果是將他們逼反，而忠誠于皇族的軍隊又有多少？就算有，又能打贏幾十上百萬大軍么？根本不可能的事情。而北方一旦亂了，心懷故國的南方貴族，不可能不反。我大隋和秦朝都結束亂世的王朝，遇到的問題也有些類似，秦朝內部最大的問題是六國后裔，我們不但有齊、陳等等后裔，自身還有一個強大的時刻想顛覆大隋的關隴貴族，所以我們的問題比秦朝還要復雜幾分，更要比秦朝有耐心。”
“喏。”楊廣怏怏不樂的應了一聲。
“唉！”楊堅嘆息一聲，道：“我本來打算讓入主中樞，日后專門與關隴貴族博弈，而秀兒鎮益州、諒兒鎮并州，讓他們對關中保持強大的威懾力，助你成事。然而秀兒不爭氣，被人架成空殼不說，還犯了大罪。而諒兒就甭說了，他現在連我這個當老子的話都不聽了，一旦我不在了，他的情況不問可知。”
楊廣這才明白父親的用心，但新的問題又來了，想了一想，始終把疑惑已久的問題說了出來：“既然父親覺得孩兒命令不了五弟，您為何還要給他兵力、大將，這不是助長五弟的野心么？”
“這點我當然考慮到了，甚至還料到我一旦不在了，他不但不遵你的號令，甚至極有可能造反。”楊堅目光望著遠方，幽幽一嘆：“既然他注定要反，那我干脆就鼓勵他造反好了，而我給他的兵將皆是關隴貴族里的中流砥柱，日后當你打贏了老五，將那些追隨他造反的人殺了便是，有大義有手，關隴貴族也沒辦法說什么，當然了，你也可以利用這些人質逼關隴貴族就范，達到一些目的。”
楊廣聞言默然，終于體會到了父親用心。
“我現在擔心的是，他敗得太快。達不到消滅關隴貴族中堅之力的目的。”楊堅又說道。
“這是為何？”楊廣好奇的問道，在他看來，楊諒擁有完整的齊國大地，要人有人、要糧有糧，如果真的打起來，自己未必贏得了他，可父親卻這么說，實在太意外了。
“因為他笨！”
“……”楊廣聽得哭笑不得。
“阿?！”楊堅嘆息道：“我希望你以后給你的兄弟們一條生路，讓他們富足終老。”
“父親放心。”楊廣肅然拱手，十分坦然的說道：“自從孩兒當上太子以后，就沒有視兄長、弟弟是敵人了。”
言下之意很明顯。
不管是親兄弟楊勇、楊秀、楊諒也好，堂兄弟楊智積、楊綸、楊集、楊靜也罷，都沒有當他敵人的資格。
楊堅笑了起來：“下去吧，如果你認為時機成熟了，便將智積、斌籀他們派去關東為將，讓他們建立一支屬于皇族的軍隊。”