聽了楊堅回顧一生般的教誨，楊集收獲良多，但是從這其中也看出了當前的危機，比如說楊堅提到的宇文護，就令他產生了濃重的警惕。
宇文護在宇文泰死后長期執掌西魏、北周大權，對于宇文家族統治地位的確立和北周政權的穩定，起到了巨大的作用。北周孝閔帝元年，他見宇文泰嗣子宇文覺幼弱，無力應對西魏皇族步步緊逼的奪權之勢，擔心宇文泰一手打造的西魏政權白白便宜傀儡一般的魏恭帝拓跋廓，便趁著宇文泰權勢和影響力尚存、拓跋廓勢頭未足，果斷的迫使拓跋廓禪位于周。然而他一手立起來的宇文覺堅毅剛決，不滿堂兄宇文護專權。趙貴、獨孤信等人對于企圖削弱他們這些藩鎮的宇文護也是相當不服，于是慫恿宇文覺除掉宇文護。誰知他們的陰謀還來不及實施，反被宇文護先發制人，先是將趙貴滿門抄斬，接著又罷了獨孤信的官，等事態平息之后，再賜死獨孤信、毒死宇文覺，改立宇文毓為帝，然而宇文毓坐穩皇位不久，又與宇文護爭，其下場與宇文覺毫無異處，宇文護之后又立“軟弱”的宇文邕為帝。
宇文邕吃了兩位兄長的教訓，平時表現得極為軟弱窩囊，當他成功的卸下宇文邕的心防以后，以親情來騙宇文護進入后宮，宇文護孤身一人、毫無戒備，被宇文邕用玉笏從后面打倒在地，預先藏在室內的衛王宇文直沖出來將宇文護殺死。
于是權傾朝野、黨羽無數的一代權臣，就這么簡簡單單的被搞死了。
由于宇文護收權之舉得罪了太多關隴貴族門閥，而且宇文邕接下來很會分蛋糕，所以北周王朝風平浪靜，幾乎沒有什么波折。但是宇文邕穩定下來以后，其作為比宇文護更加激進無數倍，于是大家干脆廢了宇文家，改為支持楊家。
只是關隴貴族支持的楊堅更有魄力，做事的手段更加老辣，甚至想從軍事上、政治上、文化上、教育上鏟除關隴貴族。所以他自然比宇文護、宇文邕更不得“民”心。要是有人仿效宇文邕，對楊堅、楊廣來個斬首行動，恐怕也是“舉國歡慶”。
而當下的仁壽宮，具備“斬首行動”的條件，這其中的關鍵是他看到仁壽宮內的防衛力量是右衛。
右衛上將軍是他楊集、右衛大將軍是宇文述、右衛將軍是史祥，他們三人全部是楊廣的人，自然不會斬了楊堅和楊廣的首。但是另外一個右衛將軍柳述卻是楊勇的親信，如果他在換防之時，集重兵來一個斬首行動，幾乎是十拿九穩的事情。
而且史上記載的“仁壽宮變”雖然語焉不詳，且多是指楊廣急于奪權、品德不端，但有幾件確實是發生了：一是楊廣調集東宮八率士兵防守仁壽宮，二是緊急派楊約入京坐鎮，三是抓捕了柳述，并賜死前來仁壽宮的楊勇。
這都是發生在楊廣登基以前的事情，給人的感覺不僅十分倉促，也顯得沒有動腦子。
之所以說沒有動腦子，首先是楊廣尚未登基就急匆匆的處死了當了近二十年時間的前太子楊勇，難道不怕楊勇的勢力在新舊交替之前發動軍事政變？其次、楊諒已經虎視耽耽、磨刀霍霍了，他此時更應該穩住局勢，穩住楊勇的勢力才比較合理。但是楊廣卻沒有這么做，而是選擇了最急功近利、最不穩妥、最危險的方式。
這說明什么？說明楊勇在這個時期，已經嚴重威脅到楊廣的皇位，使他不得不在局勢不明帝位不穩的情況下，冒著內有前太子勢力造反、外人漢王造反的風險來除掉楊勇。
同時，楊勇是一個當了二十太子的人，至今依然擁有巨大實力和影響力，他應該很清楚楊廣登基后自己的命運，所以他和他的勢力也不甘心束手待斃。
楊集這么將現實和腦海中的記憶一起東拼西湊起來，便覺得楊堅駕崩期間，楊勇和他的支持者極有可能展開了一場末遂的軍事政變。