楊廣為晉王時，曾在江南待過十年，對江南的感情很深，即位后，共三次巡幸江都。
第一次是大業元年出發，次年四月返回。
他這次的巡行江都，是率船隊二十萬，從洛陽通濟渠南下，經邗溝抵達的江都，主要是通過新開通的大運河巡游，炫耀國力，江都自此正式成為隋室在江南的統治中心。
第二次是大業六年三月長安出發，年底返回。
這次的巡游，他先是巡行了帝國的西北邊地，即今之青海、甘肅，然后轉道到達的江都，沿途接見了西域二十七國的使者，展示了“萬國來朝”的盛狀，江都成為了外交的舞臺。
第三次是大業十二年七月從長安出發。
這次巡游，是為躲避北地四起的民變，到了江都后，他便留在了江都，遲遲不歸。
如果說前兩次巡游江都的時候，楊廣是雄心勃勃，豪情萬狀，一如他定下的新的年號，要建立他的“大業”，那么第三次則是灰心喪氣，惶恐不安。
江都的繁華掩蓋不了他內心的恐懼，民變的陰云如影隨形，昔日的輝煌已成過眼云煙。
可也正因為此，他第三次，也就是前年開始這次的巡幸，使他到了江都后，荒淫益甚。
在他江都的行宮中，他設了百余房，各盛供張，內中填充美人，日令一房為主人。王世充之前的江都郡丞趙元楷掌供酒饌，他與蕭后及寵幸的姬妾日日宴飲，酒卮不離口，從姬千余人亦常醉。然而醇酒婦人，終是難消惶懼，他見天下危亂，意亦擾擾不自安，退朝則幅巾短衣，策杖步游，遍歷臺館，非到入夜不止，貪婪地汲汲顧景，唯恐不足。
楊廣多才多藝，自曉占候卜相，好為吳語，常夜置酒，仰視天文，謂蕭后說：“外間大有人圖儂，然儂不失為長城公，卿不失為沈后，且共樂飲耳！”因引滿沉醉。又嘗引鏡自照，顧謂蕭后曰：“好頭頸，誰當斫之？”后驚問故，他笑說：“貴賤苦樂，更迭為之，亦復何傷！”
長城公，便是南朝陳的后主陳叔寶，其為吳興長城人，死后被追贈長城縣公。陳被隋滅亡后，隋待陳叔寶不錯，沒有殺他，反而優待有加，他在洛陽又快活了十六年，之后才病死。
隨著海內局勢的越來越亂，盡管長安、洛陽，包括江都朝中，不斷有大臣諫言他趕緊回去長安坐鎮，天下尚可救之，他卻置若罔聞。從出生他就錦衣玉食，沒有遇到過挫折，如今面對危機，他因此選擇了逃避。不僅無心北歸，沉溺於聲色犬馬，試圖在醉生夢死中忘卻現實的困境，并在前時，他甚至作出了一個想當然的決定，欲都丹楊，保據江東，遂命群臣廷議之。
內史侍郎虞世基等江東人，皆以為善；右候衛大將軍趙才為首的北地人，極陳不可，請車駕還長安。兩下爭執不休，趙才惱怒而出。門下錄事衡水李桐客進言說：“江東卑濕，土地險狹，內奉萬乘，外給三軍，民不堪命，恐亦將散亂耳。”御史彈劾李桐客謗毀朝政。於是，公卿皆阿意言：“江東之民望幸已久，陛下過江，撫而臨之，此大禹之事也。”
定都丹陽，保據江東此議因乃得定。