話說高王納了爾朱皇后，皇帝雖然聽說后很討厭他，然而并沒有圖害高王的想法。朝廷大臣中只有斛斯椿心懷反覆，平時喜歡和術士劍客往來，好行機詐。
高王剛進入洛陽的時候，斛斯椿已慮其權力過重，欲圖謀殺害他，但賀拔勝說服了他，他才終止。等到高歡殺掉喬寧、張子期，他心里就不安了。
于是與南陽王元寶炬、武衛將軍元毗、侍郎王思政等人結成一伙，秘密在皇帝面前說高歡之短，勸皇帝除掉他。舍人元士弼也說詔書到了并州，高歡坐著聽讀，驕傲無禮。皇帝于是心中常常不平。雖然想除掉他，但無計可施。
一日，忽然接到高歡上表，說爾朱兆已正殺君之罪，滅及全家，而太原王爾朱榮曾有大功于國家，不應沒有后人，他最小的兒子爾朱文殊年漸成人，理應繼承爵位，以酬謝太原王之功勛。皇帝覽奏大吃一驚，心中不愿，可若不同意封叛臣的兒子為王，高歡必定動怒，導生不測。
于是暗中召斛斯椿，以表示之。斛斯椿說：“陛下不可不答應。高歡施恩于文殊，乃是看在莊皇后的面上，不如陛下就順了他的心意，若是陛下順了他，我天朝必定幸矣”皇帝說：“怎幸？”
斛斯椿說：“以高歡之雄才大略，勵精圖治，經營大業，他難以控制。最近聽說他又納莊后為妾，日日夜夜在爾朱兆舊府，與其歡樂。將領們很少見到他的面，過去姬妾也置之不問。因尉景為冀州刺史，于是他就把政事委任給他，自己完全不關心。又覺得北地區已定，關西和好，認為天下無事，因此神志驕橫氣盈，心里只有美色。現在乘其混亂懈怠之時，正好設計將其除之。高歡若是除掉，他的長子高澄年僅十二，區區孩童，雖有謀臣勇將，蛇無頭而不行，皆可利誘也。如此，大權將重回帝室，天下的人，自然都會叩頭歸服陛下。”
皇帝說：“怎樣除掉他？”
斛斯椿說：“臣附耳告訴陛下。”
皇帝說：“好吧。”
斛斯椿附耳告訴了皇帝如何除去高歡。附耳完畢，又返回原位。
皇帝說：“司空高乾，朕欲用之。”你知道皇帝為什么要用高乾嗎？先是高乾在信都遭逢父喪，因為戰事沒有來得及終服。新帝即位，上表請求解除官職行喪，詔解侍中，惟不解司空之職。高乾雖然辭職，不是說皇帝立即批準，既解除侍中，朝廷政事多不參與，平時常常怏怏不樂。皇帝想除掉高歡，他希望高乾能為自己所用，皇帝曾在華林園宴會結束后只留下高乾，對他說：“司空世代忠良，今又建立如此功勛。朕和卿雖然是君臣關系，但卻情同兄弟，應該立下盟約，以促進情誼。”“殷勤逼之。”
“高乾回答說：“臣以身許國，怎敢有二心？”皇帝又重申說，乾唯唯。且事出倉猝，不能說皇帝有異圖，于是不推辭了。與皇帝焚香訂盟，誓終始不相負，于是皇帝決定欲用高乾。”
斛斯椿說：“高乾若能為陛下所用，他的弟弟高敖曹勇冠三軍，英勇無敵，自然也可以結之，為陛下效力了。”
皇帝非常高興，自此朝廷政治軍事計劃，皇帝只與斛斯椿相商，群臣皆不能參與。能聽到相商的，只有南陽王、王思政幾人。然南陽王擔心事恐不成，心里很是擔心。