正在黃明遠與田元在大寶門相持的時候，楊昭和裴矩二人也已經成功出了仁壽宮。
此時宮中生亂的消息還被控制在最小的范圍內，因此守城官兵皆不知。楊昭、裴矩二人出了排云殿之后，直奔仁壽宮正門永光門。楊昭打著奉命回京的幌子，宮門的守衛無人敢阻攔皇太孫，因此二人在雄闊海和楊善會等人的護衛下，大搖大擺地離開了仁壽宮。
出了仁壽宮，楊昭和裴矩便直奔宮外左武衛堯君素所部的軍營。這是眾人提前計劃好的，左武衛軍是黃明遠的部隊，堯君素又先后是楊廣、楊昭父子二人的親衛，因此堯君素在之前與黃明遠會面之后，心中早就做好了準備。
實際上黃明遠在知道仁壽宮生亂的第一時間，便想到了宮外的堯君素所部，因此立刻派人出仁壽宮給堯君素送信。
而黃明遠的命令一到，堯君素不敢稍慢，立刻升帳點兵，并殺了軍中不愿意跟隨他平亂的將領，等待黃明遠出兵的命令。
因而當楊昭和裴矩進入軍營時，堯君素早就準備完畢。見到楊昭，堯君素一身戎裝，單膝跪地，說道：“左武衛全軍奉命集結完畢，等待太孫命令。”
楊昭見堯君素所部威武雄壯，戰意盎然，心中大喜。
這時帳外傳來一陣急促的馬蹄聲，有門將來報，右領軍府楊萬項率部趕來集結。
當朝官員之中，若說有人最怕楊儼繼位的，那一定是楊素。雙方之仇怨，三天三夜也難說盡。黃明遠的信送到之后，楊萬項也自覺擔憂，不知如何是好。幸好其父楊素授意楊萬項，若是仁壽宮生亂，他當無條件的支持太子。
今日黃明遠的信使一到，楊萬項也知道決戰來臨，他立刻集結軍隊，清理不從，前來左武衛與堯君素匯合。在楊萬項看來，此次太子的成敗，不僅僅是太子一人的事情，還包括著楊家數百口人的命運，由不得他不為之拼命。。
楊萬項見到楊昭，也是一喜，忙上前叩見。楊昭親切地扶起了楊萬項，說道：“國家有難，方見忠臣，今日柳述逆賊生亂，一切拜托將軍了。”
堯君素和楊萬項二人所部合兵一處，共計兩千余人，皆歸于楊昭一人統帥。
楊照也是統領過大軍的人，因此毫不怯場，乃命大軍出營，直奔左衛軍斛斯萬善軍營之中。
斛斯萬善是楊廣的舊部，往日素與楊廣親善。其人驍勇果毅，雖然官職不高，但名氣很大。
楊昭和裴矩商定從斛斯萬善軍中開始招降，一方面是因為斛斯萬善在諸部中最有可能歸降楊廣；另一方面也是因為在諸軍之中，左右衛軍實力最強，人數眾多，每部有兩千余人。
楊昭和裴矩帶著部隊直趨左衛軍轅門。
楊昭手上軍隊力量不足，因此不準備動武。他二人到了左衛軍前，乃不顧自身安危，親自上前叫門，請求入內。此時斛斯萬善的態度尚不明朗，楊昭與裴矩二人的安危并不能得以保障，堯君素乃請求楊昭以自身安危計，不要盲目入內，但被楊昭拒絕。