總體而言，文帝還是相當看重他，多次在公眾場合替蘇威開罪，說他不過是受人牽連罷了，輕輕地罰一罰就行，至于官職封爵，照給不誤。終文帝一朝，蘇威都相當受重視。
不久后，武帝登基為帝，蘇威也跟著水漲船高，成為上大將軍，開始新一朝天子的富貴生活。蘇威當了一輩子的納言，無論是在文帝朝還是武帝時期，他都是重臣，文帝朝的四貴，武帝朝的五貴、選曹七貴、六貴都沒少過他。
不得不說這老家伙還是非常有本事的，這是一個相當有才干的宰相。可惜的是，這老家伙的毛病更多，比如說貪財，比如說喜歡阿諛奉承，比如說喜歡朋黨，比如說喜歡黨同伐異，尤其是黨同伐異，是他五起五落的根本原因，可他安分不了多久又玩上了。據說他還以賈詡為榜樣，自我標榜深詣自保之道，他忠誠的永遠是自己的利益，你讓徹底收服于他，是相當困難之事。
宇文化及發動江都之亂后，任命蘇威為光祿大夫、開府儀同三司。到宇文化及失敗后，蘇威順勢歸附李密。不久李密在和王世充交戰中大敗一場，蘇威又跑到東都當起了王世充的太師，接著又和云定興把王世充賣給了李世民，可他跑得慢，或是不想跟李世民走，所以一直留在洛陽。
蘇威認為自己是大隋老臣，所經過之地，都是被迫無奈的隨機而處，希望獲得大隋收容豁免。
念及此人對大隋有大功，又是一個離死不遠的八十多歲老人，楊侗也沒有為難于他，賞賜了些錢，讓他回家養老，可這老家伙是一個不甘無權的官迷，以老臣為名得寸進尺，多次上書說要為國盡忠。
此人才能是有的，可用他，楊侗當然不愿意了。
一來、蘇威的污點太多，尤其是他先后當過宇文化及、李密、王世充的大官，這奸佞之名是永遠都洗涮不掉了的，如果起用這種沒節操的人，讓他登堂入室，那是對大隋忠貞烈士的最大玷污，對于推崇忠誠觀的大隋王朝的名聲相當不好。
二來、此人有才無德，文帝都說他‘其性狠戾，不切世要，求名太甚，從己則悅，違之必怒，此其大病耳。’如果他能活到百把歲，還有十多年時間搬弄是非，把朝廷風氣搞壞。
三來、蘇威年紀太大，都八十多歲了，如果他死在任上，還得給他一個美名，如果給一個奸佞之臣、反賊臣子以美名，這讓文武百官、百萬將士、萬千子民怎么想？你這是鼓勵大家不忠嗎？
所以，楊侗見都懶得見他一面，免得上他的當：“朕就不見他了，朝廷也不缺才德兼備的青年干吏，讓他安心養老即可，”
冰天雪地里，如果他磕到碰到，還被人說成虐待老人，這種啞巴虧，楊侗可不想吃。
“喏！”楊恭仁應了下來。
蘇威的事情就此結束。
這時，楊恭仁又說道：“圣上，臣以為王威、王琮、高君雅、楊元弘可入閣。”
楊侗登基之時，冊封王威為太常卿、王琮為光祿卿、高君雅為大司農、楊元弘為太府卿，這四人現在已經全部退了下去，當清華學宮學士。
“準奏！”
“圣上！”這時，衛尉李景出列道，“老臣先后侍奉文武二帝，和圣上，幸得明君不棄，委以重任，倏忽之間，已有四十余載。您登基以來，可是眾正盈朝，能臣干吏不計其數。老臣承蒙信重，得授衛尉重職，老臣唯恐有負重托，唯戰戰兢兢、如履薄冰，未敢有一時之懈怠，《禮記》有云：大夫七十而致仕。老臣雖未年邁古稀，然年老休衰、精力不濟，已不足勝任衛尉之職……伏請致仕。”
“這……”
望著李景這個白發蒼蒼的三朝老臣，楊侗有點心酸，一時之間不知如何是好。
在文武二帝時，此老一直鎮守邊陲要地，盡忠職守，哪怕在天下大亂之時，不管是誰拉攏，他始終遵從楊廣之命，在右北平守御如山錢糧武備，同時謹慎的與各族打好交通，免得內外受敵。