他先是主動請纓運送糧草，然后以各種理由故意放慢速度，目的是讓隋軍在遼東戰場上斷糧挨餓。接著，他忽悠運送糧草的士兵一同反隋。在此期間，李密成了他的軍師，并且制定了上、中、下三條策略：
上策：北據幽州，斷掉隋煬帝回家的后路，待其斷絕糧草、撤軍路過時便可將其控制。
中策：西入長安，直取關中。因為關中地區易守難攻，又是關隴集團的大本營。占領此地也能與隋煬帝一決雌雄。
下策：就近攻打東都洛陽。但必須速戰速決，趁著援軍抵達之前將其拿下，否則將會面臨被包圍的局面。
當時的文武百官都在跟隨皇帝遠征，楊玄感認為文武百官的家屬都在洛陽城內。控制了洛陽就是控制了文武百官，到時便可架空隋煬帝。
于是他選擇了下策，率領5000兵馬直奔洛陽。當時的百姓對隋朝已經心生不滿，楊玄感在行軍途中得到了人們的大力支持，并且有眾多百姓自愿加入。短短幾日，便有10萬之眾。
身在關中的刑部尚書樊子蓋不敢怠慢，于是率領幾萬士兵進行攔截，還在途中扒了楊素的墳墓，并把尸骨燒成灰燼，以此打擊楊玄感。
楊玄感在憤怒之下親自迎戰樊子蓋，然后假裝敗逃，樊子蓋以為真，進行追擊，結果遭遇楊玄感的伏兵，先鋒部隊全被消滅。幾日之后，兩方軍隊再次交戰。
楊玄感這次又施計策，派人在混亂之中大呼“楊玄感被捉”，樊子蓋聽后一臉懵逼，松懈了戰斗。
楊玄感于是率領幾千騎兵乘機進攻，一通亂殺，樊子蓋軍又是大敗，僅帶領8000人馬逃走。
楊玄感因此戰的勇猛被人譽為“霸王在世”。隋煬帝得知楊玄感造反之后，本準備趁著優勢向遼東城發動總攻，結果又傳來大敗的消息。隋煬帝于是下令放棄所有物資和器械，以最快的速度回師洛陽。
楊玄感的名氣越來越大，他不僅學習著霸王的勇猛，而且還走起了項羽的老路。當時一位名叫李子雄的隋朝將領前去投奔楊玄感，建議他自立為帝。
李密聽后立即進行反對，因為之前的幾場戰斗已經拖延了工程時機，現在各地援軍正在趕來。
當下之急應該避免遭遇圍攻，不應考慮稱帝之事。然而，楊玄感對此非常不滿，李子雄因此成了新任軍師。
正如李密所料，各方援軍已經快要兵臨城下，楊玄感這才感到懼怕。李子雄則提出了前往關中之策。
這一策略其實就是李密之前給出的中策，但楊玄感卻偏離了直取的重點，居然在途中打起了其他地區。李密勸他應該趕緊搶占天險，以免追兵追來無處藏身，但楊玄感不聽。
結果被弘農太守擊敗，直到追兵追來，他才恍然醒悟。楊玄感且戰且退，最終還是全軍覆沒。
他為了不受敵人的侮辱，讓弟弟殺了自己。楊玄感一生仰天長嘯，嚇退了數名追兵，之后死在了弟弟的刀下。這種英雄的悲壯與項羽之死如出一轍。
他的首級被送到隋煬帝的行宮，其尸身被暴曬三日，又被分成多塊，最后投入烈火之中化為灰燼。