很快黃明遠就顧不得義成公主的事情了，因為朝廷之中，爆發了一件大事，天子下令，罷免宰相蘇威，誅殺高颎、賀若弼、宇文弼等人。
楊廣北上之時，便下詔征發男丁一百余萬人修筑長城，西起榆林，東至紫河（即今內蒙古南部、山西西北長城外的渾河）。尚書左仆射蘇威勸阻，楊廣不聽。這條路修筑了二十天便完工，死傷無數。
這便是高颎等人要被誅殺的直接原因。
因為高颎的主動投誠，楊廣在登基之后，還是很優待高颎的，不僅任命其為太子太師，與楊雄、楊弘等人并列，還恢復了其爵位齊國公。
不過高颎似乎還沉浸在楊堅的時代，對楊廣的性格并不完全了解，因此對于楊廣的作為，屢屢勸諫。
楊廣征召全國周、齊、梁、陳等朝樂家子弟為樂戶，從六品以下到庶人，有擅長音樂的，全向太常寺報到，高颎對此對不以為然，認為這是亂政，勸楊廣廢止，但楊廣不聽。
此時的高颎似乎因為年老和離開政治中心，已經喪失了政治警惕性，因此他之后對太常丞李懿說道：“北周天元帝因為好樂而亡國，殷鑒并不遠，怎么可以再重復呢？”
而這兩年，楊廣的種種作為，也越來越讓高颎不滿，因此高颎竟然和安德王楊雄說道：“近來朝廷太無綱紀了。”
這一次楊廣召見啟民可汗，黃明遠、長孫晟皆對楊廣對胡人厚賞不滿，但也沒有說話，但高颎卻認為楊廣此舉不妥，對啟民可汗的待遇過厚。他又對太府丞何稠說道：“這個胡虜很清楚中國的虛實，山川的險易，恐怕會成為后患。”
不僅如此，高颎還和楊諒的舊部禮部尚書宇文弼走得迫近。須知禍從口出，從高颎管不住嘴開始，他的下場已經注定。
宇文弼也不知是不是知道楊廣對其虎視眈眈，卻與高颎私下里說道：“周天元帝的奢侈，以今天的情況與之比較，也不算太過分吧？”后來又說“修長城的工程，幸而不是急迫的任務。”
如此種種，早有人上報給了楊廣。
七月二十五日，楊廣下令，捉拿高颎和宇文弼，滿朝皆驚。
二人一個太子太師，一個禮部尚書，雖說都沒有多大的實權，但皆是前朝老臣，地位崇高，身份貴重，影響深遠，因此被逮捕之后，朝臣紛紛上書求救。
光祿大夫賀若弼也上書進言，請求天子明察，沒想到有人上告賀若弼也私下議論宴請啟民可汗的規模太奢侈。楊廣遂把賀若弼也抓了起來。
賀若弼之父賀若敦因口出怨言，為北周晉王宇文護所不容，逼令自殺，臨死前，曾囑咐賀若弼說“我想要平定江南，然而現在看來已經不能實現了，你應該繼承我的遺志。還有我是因為嚼舌根而遭致殺身之禍的，你不能不好好想想啊。”并用錐子把賀若弼的舌頭刺出血，告誡他要慎言。
之后賀若弼因伐陳之功，變得越發驕縱，自命不凡，在朝廷之上屢屢大放厥詞，數次被貶官下獄。這一次，他終于又倒在了這張嘴上。可惜楊廣不是楊堅，不會輕易放過賀若弼。
賀若弼是軍中僅存的名將，威望顯著，他的被捉，使得眾人明白楊廣處置高颎的決心，因此再無人敢進言。
七月二十八日，楊廣以誹謗朝政的命令，下詔賜死高颎、宇文弼、賀若弼等人。
雖然黃明遠知道歷史上楊廣曾下令賜死高颎等人，可因為黃明遠從中調和，楊廣與高颎的關系相較于歷史上已經改善了許多，因此賜死令下來，黃明遠大吃一驚。