不過楊廣的大業還沒開始，自河東便傳來一個驚天動地的消息。漢王楊諒以“清君側，誅楊素”為由，在并州起兵造反了。
先時楊堅在仁壽宮病重，楊諒得到消息后，幾次請求回京侍疾。當時楊堅也沒想到自己病情后來會加重，他由于擔心先是加封楊昭為皇太孫，再加上若讓楊諒回京，會過度的刺激楊廣，因此便拒絕了楊諒的請求。
但后來楊諒病重，再加上楊儼、柳述之亂，為了避免可能出現的動亂，楊廣便招楊諒還朝。
這時的楊諒接到令后，還很是欣喜，一路疾馳南下，欲返回長安。不過楊諒也在長安有后手，等到楊諒到達蒲坂，竟傳來楊堅病逝的消息。楊諒得信大驚，自覺若是就此返回長安怕是自身性命難保。因此在手下眾人的慫恿之下，楊諒急忙率部返回并州。
楊廣知道楊諒逃回并州的消息之后，只得哀嘆時運不濟，失去了解決河東問題的大好機會。因為中央政府沒有準備妥當，楊廣也不想過度刺激楊諒，因此佯裝不知，乃命屈突通持隋文帝的璽書去晉陽（今太原市西南）征漢王楊諒入朝，參加楊堅的葬禮。
父親死了，這次不管你有什么理由，總該回京了吧。
此時楊諒已經知道了隋文帝臨終之前罷并州行臺之事，又思慮自己與楊廣父子的關系不睦，他若是就此回京，恐性命不保。
這時謀士裴文安獻計可詐屈突通一番，看朝廷有無加害漢王之心。因此見到屈突通之后，楊諒乃說道：“當日孤離京之時，曾與先帝有言，先帝曾說‘如果有璽書召你，驗看敕字加點，還與玉麟符相合，方可受命上路。’今日你持先帝詔書來并州，這詔書之中，為什么沒有敕字加點？”
屈突通根本沒聽說話此事，大吃一驚，也不知此事是真是假，只能閃爍其詞而不回答。楊諒乃怒斥屈突通朝廷作偽，天子死因必有蹊蹺，因此拒絕接受這份旨意。
眾人紛紛請求扣押屈突通，以對抗朝廷。楊諒知道屈突通雖然官職不高，但素來在朝中有賢名，無論處死還是扣押都沒有意義，反而惹人詬病。因此楊諒也沒有扣押他，而是將其放歸回朝。
楊諒拒不接受楊廣的詔書，算是和朝廷撕破了臉面。
事實上楊諒的謀反之舉，并不是他心血來潮、腦袋一熱的舉動，而是早有準備。他自知與二兄楊廣不和，因此在最初的時候，楊諒寄希望能夠如楊廣扳倒慜太子楊勇一般，合法繼位。
但是自楊昭北伐得勝，又被封皇太孫之后，楊諒知道自己這條路是走不通了。楊廣、楊昭父子二人實力強大，又如此得人心，哪怕楊廣死了，也是楊昭繼為儲君，根本輪不到他。
至此楊諒便準備實行武力奪權。仰仗手中強大的實力，哪怕不能成為天子，也要割據一方，不再受楊廣父子轄制。
楊諒作為楊堅和獨孤皇后最小的一個孩子，從小備受寵愛，其身為并州總管，所轄之地為崤山以東到滄海，南至黃河，五十二州，相當于天下的四分之一。楊堅又特許楊諒在封地可以便宜行事，可以不拘泥于法律條文。
這使得楊諒便成為大河以北事實上的統治者。古往今來，整個中國歷史上，都沒有權利、實力如此龐大的藩王。