等到楊勇被廢，楊秀“意甚不平”。但是為什么生氣呢？史書上沒有明確交代原因，可是也沒有記載他口頭或者書面上為大哥鳴冤叫屈，我只能推斷他不是為楊勇被廢而怒，而是為立楊廣沒有立自己而怒。一千多年以后的人都能猜出他的心思，楊廣能不知道？于是指派楊素揭發楊秀，還是從有“異心”這個突破口展開，老皇帝大怒，招楊秀回京，有楊俊的例子擺在前面，楊秀還真不愿離開根據地。楊堅又指派了新的益州總管，這位新總管很會做心理工作，終于說動了楊秀回京。楊秀帶著自己的嫡系部隊上路了，走了四十來里路，又有了反悔之心，準備率兵偷襲益州。只要一開戰，楊秀造反的事實就確鑿無疑了，幸虧這位新總管也不是吃素的，已經做好了防御準備，楊秀只有乖乖的到京城報倒。
楊堅沒有給楊秀辯解的機會，也沒有親自罵他，派使臣“切責之”之后就押進監獄，等待審判。楊廣一面在楊堅面前痛哭流涕地為楊秀求情，一面暗中指使人弄了兩個小木人，埋在華山腳下，分別對楊堅和楊諒（楊堅第五子）進行詛咒，可能害怕這種妖術會真的靈驗，楊廣出于安全起見，沒有把自己列入受害人的行列。挖出這個木人的是主審楊秀工作組的首席大臣楊素。這還不夠，又偽造楊秀討伐京城的檄文草稿夾在楊秀的文集中給楊堅看，證明楊秀早就盼著天下大亂骨肉相殘好混水摸魚亂中取事。楊堅被徹底蒙蔽，盛怒之下放出狠話，要把楊秀當街問斬，給老百姓一個交代，有一位大臣為楊秀求情，也差點被割了舌頭。最后盡管沒有要了楊秀的命，但也削掉王爺的爵位，廢為庶人，禁錮終身，一位土皇帝變成了無期徒刑的囚犯。
后來楊廣坐上皇帝寶座，可能是楊秀已經沒有什么威脅了（人被關起來了，嫡系的幕僚基本在處置楊秀的時候被楊堅殺完了），也可能“真兄弟”只余下這一個（老五楊諒因謀逆去世的早），總之是沒有給楊秀加刑，留了一條命。不過楊廣對皇家的宗室也非常警惕，無論走到哪里始終把這幫人帶著。楊廣窮途末路之時被宇文化及以為民除害的借口勒死之后，楊秀一度成為傀儡皇帝的候選人，不過經過宇文化及等人的討論又否定了這個提議，應該是覺得堂堂蜀王不好控制的緣故吧。那下場就比較明顯了，和楊堅的其他后人一起被殺，這樣看來，雖然楊秀郁悶半生，卻是兄弟之間最晚離開這個世界的。
四、楊諒之死
和楊秀一樣在史書被稱為“庶人”的還有楊諒，和楊秀窩囊地在監押之下度過后半生不同地是，這位被封為漢王的楊堅最小的兒子，還真是轟轟烈烈的造過反。
楊堅對這位小兒子非常寵愛，在他擔任并州總管離京的時候，老皇帝打著到外地視察的旗號，一直送出很遠。楊諒的轄區很大，西起華山，東至渤海，北達燕門關，南到黃河，共計五十二州。兵馬也很多，并且特許他可以“便宜行事”，就是所謂的先斬后奏吧。不過他辜負了這份信任，史書上記載他指揮了三大的次戰斗，無一勝績。第一次是攻，開皇十八年出征遼東，敗；第二次是防，開皇十九年防突厥，敗；第三次是攻防兼備，先打起造反的旗號進攻，后來逐步退守，敗。如果前兩次是詐敗，通過打敗仗來逼迫皇帝老子增加自己的實力，那最后的一次無論如何也沒有別的借口了，只能說自己志大才疏。
楊諒造反是必然的，不反才不正常。四個哥哥，除了二哥當了太子外，其他的三位或死或監，自己的下場是什么，當然要好好考慮了。資治通鑒上還有一段記載，說楊堅偷偷和楊諒約定好了，如果新君繼位，發給楊諒的詔書上面的公章有個暗記，就說明沒有問題。結果大將屈圖通拿著楊廣的詔書來宣招楊諒進京的時候，加蓋的玉璽上沒有這個暗記，楊諒自然不敢到京城去自投羅網。違旨是不赦的大罪，遵旨又會變成楊俊第二楊秀第二，除了造反，真是沒得選擇。由此看來，楊堅對這位小兒子真不是一般的疼愛啊，小兒子，大孫子，老爺子的命根子。可是這種疼愛，給楊諒帶來的是更大的禍事。