楊廣準備來一招眼不見心不煩的鴕鳥政策，鐵心去揚州，有大臣苦苦規勸，反而被楊廣砍了腦袋。奉信郎崔民象以盜賊充斥全國為由，在建國門上表勸阻，估計是言辭激烈，說得楊廣無言以對，惱羞成怒之下，先摘掉崔民象的下巴，然后才將他處死。就這樣，楊廣去了揚州，再也沒能回來。
要說楊廣也是聰明人，知道這一去很有點逃難地感覺，不再是威風凜凜地巡視。要說他在洛陽待得確實也提心吊膽。四月初一，大業殿西院起火，他以為盜賊來了，藏在草叢里，火熄滅后才敢出來。楊廣從大業八年以來每天夜里都睡不安穩，常被惡夢驚醒，必得命幾個婦人搖撫才能入睡。正因為如此，所以要給自己說點吉利話壯行，于是在與宮人告別的時刻，他又賦詩一首以贈眾人：
我夢江南好，征遼亦偶然。
但存顏色在，離別只今年。
在這首詩里，他倒是沒有用什么典故，也許是覺得這些宮人文化程度不高，如果弄得太文雅他們聽不懂，那不是白費勁了。
這句詩中的“偶然”是說不一定，或者否定的意義更強烈一點，“但存顏色在”是說兩層意思，一是讓宮人好好保重，不要美色盡衰，二是也囑咐他（她）們好好看護宮殿，不要荒廢，因為“離別只今年”，只是今年而已，明年我就回來了。有很多人理解“離別只今年”，是“離別只在今年，就在今年，我一去就回不來了”從這個角度出發。我個人認為這種理解不正確，楊廣這個時候還沒有完全失去希望，王世充、張須陀、陳棱等人平叛也取得了勝利，盡管官府忙得按下葫蘆浮起瓢，但還是能應付的。真正的局面失控，是從楊廣到揚州之后開始的。
這首詩的大意可以分為三個層次來理解：第一個層次是我夢江南好，表達了要去揚州的主觀愿望——連夢中都惦記著江南，你怎么能忍心拒絕我江南之行的請求？第二個層次是征遼亦偶然，闡述了揚州之行的客觀條件——不會在有征伐遼東的戰事了，言下之意就是近段時間沒有什么緊急工作，我可以去揚州放松一下了。第三層意思就是但存顏色在離別只今年，表示了對未能跟隨楊廣去揚州享福的宮人們的慰問（實際上，沒有去的這幫哥們姐們才是真正的祖上有德），并且提出了殷切希望。
盡管在大業十二年，各地盜匪蜂起，史書記載，當年的元旦大朝會，各地朝集使因被阻而未到的有二十余郡，但楊廣還是平安抵達揚州。