三子秦王楊俊已經過世，自然就可以放過一邊，不必再理會。
可是蜀王楊秀與漢王楊涼都是在自己的屬地有著極大的權力，手中的士卒也是相當的多，楊廣雖然扳倒了楊勇，繼任為太子，但是心中還是不太安穩。
因為嫡長子繼承制已經被他打破，始作俑者無其后乎，他心里很清楚，既然自己能夠搞掉楊勇成為太子，那么楊秀與楊涼也就有可能搞掉自己，所以心中一直在隱隱警惕著。
這可不是明代那種禮法森嚴，皇權至上的時代，再加上門閥世家的干預，他這個太子的位置還沒坐穩，更別說，勢力遍及大隋的佛門尚未出手。
所以，一直以來楊廣內心極為警惕，絞盡腦汁想要把對他有威脅的兄弟干掉。再加上裴矩等魔門中人不斷推波助瀾，楊廣便下定決心。
一方面楊廣盡量做好自己的事，不要讓人挑出毛病來。另外一方面也在想辦法怎么搞掉楊秀與楊涼這兩個兄弟。
蜀王楊秀有膽氣，容貌瑰偉，美須髯，多武藝。論本事并不在楊廣之下，讓楊廣心中極為的擔心，而且蜀地多俊杰，對楊廣的威脅也是最大的。
可是無意間得知一件事之后，楊廣心中對于楊秀的忌憚頓時小了很多。
原來蜀王楊秀雖然極為的出色，但是不知道怎么的，楊堅對這個兒子向來是極為的不滿意，甚至曾經對獨孤皇后說過：“楊秀必不得好死。朕活著的時候他不敢鬧事，等他哥哥當皇帝后這小子肯定要造反。”
漢王楊涼雖然是并州總管，自山以東，至于滄海，南拒黃河，五十二州全部都歸楊涼管轄。但是對于這個弟弟，楊廣還是很清楚的，既無遠謀，又無膽識，雖然大隋出精兵的地方全部都在楊涼的管轄之下，但是楊廣卻是絲毫不擔心。
作為一個出色的人才，蜀王楊秀自然是極為的自傲的。可是在得知楊勇被廢，楊廣成為了太子之后，心中也是一陣地不平衡。
在楊秀看來自己比楊廣要優秀許多。如果不是自己出生的太遲，楊廣所立下的那些功勞就應該是自己地了。
前面楊勇成為太子，那是因為人家是嫡長子，自己沒有什么話可說。現在嫡長子被廢，自己竟然還是沒有成為太子，讓楊秀的心中覺得極為的不爽快。
眼見自己無法成為天子了，楊秀也就變的極為地不撿點，在蜀地“違犯制度，車馬被服，一擬天子”，自己關起門來做皇帝。
楊廣知道這件事之后心中極為的高興。雖然眼見對這位四弟不是很喜歡，但是一直放在那里，楊廣的心中還是有些不舒服。因為遲早會威脅到自己，現在楊秀違犯制度，車馬被服，一擬天子。給了楊廣攻擊的借口，可以讓楊秀永遠無法威脅到自己。
在和楊素、裴矩等人商議之后，楊廣讓楊素上表彈劾楊秀。
對于任何一個帝王來說，都不能容忍自己的權威受到威脅，就算是自己的兄、弟、妻、子也不行，楊秀的所作所為讓楊堅對自己這個本來就不是很喜歡的兒子極為的討厭，在朝堂上大雷霆，說道：“當斬楊秀于市，以謝百姓！”
就算是這樣，楊廣還是有些不放心。派人做兩個小木人，分別寫上楊堅和漢王楊諒的名字，“縛手釘心，令人埋之于華山下”。然后，楊廣又指派楊素等人把偶人挖出，誣稱楊秀所為。楊堅暴怒如狂，馬上廢楊秀為庶人，禁錮終身，誅殺他手下數百僚屬。
楊涼在知道楊秀之事之后。本來就對楊廣不滿的楊秀心中更加的緊張，以防突厥的名義，繕治甲兵，大器具，訓練士卒以備不時之需。
而這時候獨孤皇后也已經過世了，楊堅更是放縱，耽于美色，沒有人給楊秀說話，即使最后楊堅并未處死楊秀，但是楊秀卻也是形同廢人。