楊廣最大的幫手是重臣楊素，而楊素動作的第一步也是面見皇后，說楊廣的人品真像他老爸，皇后說是啊。兒子像老爸這句話有點學問，推論下來，老爸是皇帝兒子也應該是皇帝！就像地下黨對暗號一樣，兩個人達成了默契。當楊素開始在隋文帝楊堅面前詆毀楊勇大力炒作楊廣的時候，獨孤皇后又賞賜楊素大量的錢財，到底是辛苦費還是活動經費就很難分析了。楊勇也真倒霉，上面有皇帝老爸壓著，下面有晉王弟弟頂著，外面是國公公事公辦的說壞話，里面是皇后使勁吹枕邊風。真稱得上是四面楚歌眾叛親離。要說都是親生兒子啊，楊堅也曾經很得意的對大臣們宣稱，我不像以前的皇帝那么荒淫無道，跟不同的女人生了不同的孩子，他們不親密，我的五個兒子都是真兄弟，他們不會有爭奪儲位的事情發生的。結果事實給了老爺子一記響亮的耳光。以后不用說也能猜到了，楊勇肯定沒有好啊。
終于在開皇二十年，公元600年，廢掉楊勇另立晉王楊廣為太子，最狠的是，把監押楊勇的任務交給了楊廣。不知道楊堅是老糊涂了還是真的要置楊勇于死地，這是打倒批臭再踏上一支腳，讓他永世不得翻身的節奏啊。這下楊勇徹底沒機會了，所有申訴的文字材料都被扣下，根本到不了楊堅手里。人要是逼急了啥招都有，楊勇就爬到樹上大喊大叫，希望楊堅能聽到。后來初唐的虞世南寫過一首詠蟬的詩，其中有“居高聲自遠，非是籍秋風”的句子，靈感是不是從楊勇太子這里來的就不知道了。楊堅還真聽到了，打算找楊勇問問，結果楊素說楊勇已經瘋了，楊堅這才罷手。等楊堅一死，楊廣即位，第一件首要大事就是謊稱楊堅有旨意，賜死楊勇。雖然是皇帝了，但是殺自己同父同母的親哥哥還是有點不好意思，改由老爹殺兒子就好看的多。
其實楊勇瘋沒瘋，楊堅隱約也知道，否則不會在臨死發現楊廣不是什么好鳥之際想到叫楊勇來，如果是個瘋子，叫來有什么用，看他演小品啊。楊勇之所以被廢，前面說得都是原因之一，但還有一個重要的原因就是違越制度。就是被楊堅罵死的三子楊俊，違越制度也才是最重要的原因。就像現在，你是什么職務應該享受什么待遇是有規定或是約定俗成的，局長坐桑塔納處長就不能坐奔馳。楊勇作為太子時，有一年冬至百官去覲見他，他很興奮，排出樂隊，吹吹打打，擺開架式接受了（史書原文是“勇張樂受拜”）。隋文帝很不高興，說這不符合規矩，有大臣辯解說只是祝賀，不是朝拜。這時的楊堅應該很不爽，因為他批駁了這種說法，楊堅認為，祝賀是私人的事情，應該三三兩輛的去，這家伙，由有關部門召集（估計是現在的組織部），大家到的這么齊，太子還穿上正式的禮服，演奏樂曲盛情款待，這時合制度的嗎？楊堅專門下詔禁止了這項活動，至于有沒有秋后算帳，對這些大臣進行追究，史書上倒沒有明確的記載。
楊勇真正要壞事就是從這個時候開始的，演奏的那是什么音樂，明明是招魂曲。
三、楊秀之死
楊堅的四子楊秀，最早被封為越王，不久改封為蜀王，后來擔任益州總管，一直經營四川地區，應該有一定的實力。史書也記載他本人容貌雄偉，長得很威風，有膽量有氣魄，喜好武藝，按照評書的說法是十八般武藝樣樣精通。
這樣的兒子多好啊，可就是不討老爹喜歡，就跟諸葛亮看出魏延后腦生有反骨一樣，楊堅不止一次對獨孤皇后說：“楊秀肯定會不得好死，我活著他還不會出什么問題，要是他兄弟當政，他一定會造反”。既然老爹這樣帶有色眼睛看自己，那咱就應該老實點，好好表現一下，楊秀不這么認為，反而又去踩了一條“紅線”——“車馬被服，擬于乘輿”——吃喝玩樂衣食住行都向皇帝看齊。看來是真的要做益州的土皇帝了。