從事后來看，張說罷相的起因其實從泰山封禪歸來就已經開始，就在張說因為封禪大典的順利舉行而聲威到達頂點時，御史臺兩位中丞之一的宇文融悄然向皇帝上了一本改革官員選拔程序的奏章。
在這道奏章中宇文融提出了一個建議，建議將吏部對官員銓選的權力分為十銓典選，也就是將原本由張說主掌的吏部銓選權分割出來由韋抗、盧從愿、宇文融等十人分掌，結果直接交由皇帝審核。
銓選關系著所有官員的考核、任用、升遷，實是首輔宰相最核心的權力之一。這個建議在皇帝李三郎那里獲得了通過，但作為首輔宰相畢竟還是有發言權的，尤其是張說還身兼著中書令，而中書省最重要的權力就是復核封駁。
自此，一個新的戰場被開辟出來，宇文融等在銓選之事上每有奏請，皆被張說所抑，最終導致的結果是銓選失敘。而這樣的結果顯然是李三郎所不能接受的。于是，宇文融成功的挑起了李隆基對張說的惡感。
在此期間，據說張說最為信重的張九齡曾苦口相勸，“宇文融承恩用事，辨給多詞，不可不備也”，但張說對此卻是不以為然，回應張九齡道：“此狗鼠輩，焉能用事？”
就在銓選之戰開打的時候，一個重要的任命也同時出爐。彼時主掌官員彈劾大權的御史臺主官御史大夫出缺，張說舉薦多年來與他關系融洽的崔日用接任此職，李三郎卻鐘意于貴族出身的崔隱甫。
張說對于崔隱甫接任御史大夫極力反對，因為崔隱甫是靠蔭庇而非科舉出身，同時其人缺乏文才，這樣的人只適宜擔任武職。
最終的結果是李三郎嚴拒了張說的提議，崔隱甫接任御史大夫，而張說舉薦的崔日知則被任命為禁軍將領。
由是，御史臺三位主官崔隱甫、宇文融、李林甫都是貴族，都是靠門蔭出仕，也都被公認為缺乏文才，他們組成了一個堅固的反張說同盟。
隨后，這個同盟正式出手，三人聯名彈劾張說“引術士占星，徇私僭侈，受納賄賂”，天子李三郎接到彈章大為震怒，發金吾兵包圍張說府邸，下敕由政事堂次相源乾曜會同刑部尚書韋抗、大理寺少卿胡珪及御史大夫崔隱甫等拘捕張說于御史臺詢問。
“砰砰砰”，宣陽坊小院兒的門被敲得山響，柳輕候從書房里出來打開門，見到的是滿臉紅光、滿嘴酒氣的楊崇義以及臉色上頗有些無奈的王縉。
楊崇義看到柳輕候后一把將他從門里拽出來，“今天高興，走，醉夢樓喝酒去”
楊崇義用勁兒很大，根本就不容拒絕，柳輕候只能轉身鎖了門看向王縉。
王縉低聲解釋了幾句，他本是陪著楊崇義在北里宴請京兆府中的客人，宴飲中聽到些消息刺激的高興異常，宴飲完畢不過癮就跑到這兒來發酒瘋了。
“什么消息能讓楊行首高興成這樣？”
王縉左右看看后搖了搖頭，“到醉夢樓再說”
柳輕候注意到一點異常，那就是跟楊崇義的興奮不同，王縉今天總有些神思不屬。
到底是為了什么事兒呢？