與裴矩分別之后，黃明遠立刻返回自己的居所。仁壽宮之中因為考慮會有隨駕大臣，特意隔出來一批外院以備朝臣使用。
黃明遠雖非宰相，但身為上柱國、國公，也是大隋排的上號的人物，因此也有一座屬于自己的小院。院中住了黃明遠并雄闊海等二十余人，黃明遠為求密閉，盡遣其中侍者，而由紅拂女負責黃明遠等人的起居。
這一次楊廣前來仁壽宮，將自己的保衛工作全部交給黃明遠，其所帶的二百名侍衛也由黃明遠全權指揮。
不過這仍不夠。
天子的護衛，一般由左、右領左右府負責，每府置大將軍一人，將軍二人，領千牛備身、備身左右各十二人，備身六十人，其基本職能是“掌侍衛左右，供御兵帳”，在禁衛武官制度中處于關鍵地位。而楊堅后來又在開皇十九年，析出一部分設置左、右備身府，作為其御前護衛。其中左右衛府下設內軍，分別為為左、右親﹑勛﹑翊三衛共六軍。不過內軍雖然名義上也是天子護衛，但是其主要目的是為了安置大批的功臣后人，有些類似于清朝的一等侍衛、二等侍衛一樣，品級雖高，但多為虛職，并不實際承擔天子的護衛作用。
自慜太子之亂之后，楊堅有感于身邊護衛的不足，將左、右備身府擴充為數千人的軍隊，更將負責天子護衛的備身將軍增設為四人，以確保天子身邊有足夠的護衛力量。
此時的備身將軍分別是崔彭、楊安、田元三人，尚有一人空缺。此三人中皆是楊堅的心腹，對其忠心無二。
除此之外，仁壽宮還有隨同禁軍衛士上萬人之多，分屬十二衛府。每一府有近千人之多。
黃明遠之前算計，若是柳述真的要發動宮變，至少要有足夠的兵力在手，最有可能的，便是這備身府和十二衛府禁軍之中的某一部或幾部。黃明遠所屬的左武衛府作為十二衛府之一，在此也有上千人的禁衛。
不過黃明遠沒有直接接觸這一部禁軍。此部是在黃明遠返回長安之前來到仁壽宮的，而且在御前輪值的禁軍并不歸原單位管轄，黃明遠若是過于在意這支軍隊，反而會引人注目。
黃明遠回到院中，早就有紅拂打了一盆涼水，給黃明遠去去暑氣。雖然仁壽宮清涼，但正值酷熱的六七月間，黃明遠還是出了一身汗。
用過晚飯，黃明遠便一直在等天黑，到了二更時分，黃明遠換了一身黑色斗篷，偷偷前往左武衛府的軍營。
此時夜深人靜，黃明遠一人潛行于暗夜之中，秘密相見其部左武衛統帥左二車騎將軍堯君素。
堯君素是楊廣侍衛出身，后來被放到左武衛擔任車騎將軍，正巧這一次跟隨楊堅前來仁壽宮，算是給黃明遠增添了一支信得過的部隊。
堯君素為人忠誠，又與楊廣關系親近，這個關鍵階段，黃明遠能信任的人不多，但堯君素絕對是其中一個。
堯君素也沒料到黃明遠會秘密潛入其軍營，吃了一驚。不過他明白黃明遠此時冒著這么大的風險前來見他，事必有異，因此馬上命心腹守住房門四周，一個人引黃明遠入內。
“見過遠郎君，遠郎君何來于此？”
黃明遠當年在揚州的時候，堯君素便稱呼黃明遠為遠郎君，這么多年，一直未變，甚是親切。
二人多時不見，黃明遠親切地拍著堯君素的肩膀說道：“多是不見純仁，甚是想念。”
“遠郎君，可是儲君有令？”
黃明遠乃說道：“純仁，實不相瞞，今日我冒險來你處，便是奉儲君之命來問你一聲？堯君素現在，還是儲君之心腹嗎？”