那天，在其他大臣退朝后，耿南仲、張邦昌、唐恪、吳敏四個主和的大臣又聚在一起，商議著如何排擠主戰派李綱。幾個人商量好辦法后，再次覲見欽宗皇帝，慫恿著欽宗罷免李綱。在幾個人的奏請中，耿南仲切中了欽宗最大的心病。耿南仲道：“據內線探報，太皇欲在李宣撫的支持下復辟朝政。”李宣撫就是李綱。汴京保衛戰后，李綱出任河北道宣撫使。
太皇要復辟？這是欽宗最大的心病。然而，對李綱的為人，欽宗心里也是清楚的。當時，金軍圍困汴京，情勢危急，李綱臨危受命，率領兵馬，頑強抵抗，才保得汴京不失。顯然，李綱是忠于朝廷的；然而，李綱雖然是忠于朝廷的，但李綱是否忠于朕？這個恐怕不好說了。再說了，罷免或將李綱貶出京師，將來再有戰事，靠誰？靠耿太師、張太宰、唐侍郎、吳御史？這些人雖然忠于朕，但這些人都是文官，到那個時候，如何抵擋得住如狼似虎的金人？仗還沒打呢，恐怕腿就顫抖得站不住了。
在罷免李剛的事情上，欽宗猶豫不決。
欽宗正猶豫著，御史吳敏起身奏道：“啟奏圣上。”
欽宗看向吳敏，說道：“卿有言請講。”
“圣上！”吳敏奏道：“金人入侵，兵臨城下，將至壕邊，情勢危急，那個情況下，是臣奏請貶黜蔡京，任用李宣撫的。就當時情形來講，保衛汴京是必須的。從保薦李宣撫一事而言，臣與李宣撫絕無個人恩怨。如今，張太宰、耿太師罷免李宣撫之奏請，臣完全支持。啟奏圣上，臣乞請貶黜李宣撫，絕非出于個人好惡，而是為朝廷的江山社稷著想。金人乃虎狼之師，招惹不得。李宣撫性情剛硬，整軍備戰，多方樹敵，必然惹怒金人，以致戰事再起，烽火重燃，百姓慘遭涂炭，江山社稷危矣。”
吳敏的這番話，聽上去公正許多，完全是為朝廷的江山社稷著想，這讓欽宗更加傾向于張邦昌、耿南仲罷免貶黜李綱的奏請。吳敏仔細觀察著欽宗的表情，揣摩著欽宗內心想法，火上添柴道：“啟奏圣上。僅僅是金人一方面的問題也就罷了，關鍵是，太皇還朝，李宣撫再行擁立之事，恐于朝廷江山社稷危害極大。”
欽宗聞奏，渾身一顫。
幾個奸臣均站起身來，異口同聲地請求罷免貶黜李綱。欽宗又思量了一番，終于下定了決心，決定將李綱貶黜京師，另行委任地方職務。
思量好了后，欽宗罷了把手道：“眾卿家所奏，朕甚是認同。罷免貶黜李宣撫之事，咱君臣幾人私下里先說說，待明日早朝，朕自有定奪。如果再無它事，幾位卿，先退吧。”
耿南仲等人遂向欽宗施禮，然后退出大殿。
出了皇宮，幾個人又交頭接耳起來。
耿南仲道：“幾位大人，從圣上言語來看，貶黜李綱應該沒啥問題。李剛被免，朝廷上的事情就好應付許多了，令老臣憂慮的是，即使李綱被免或貶黜出京，朝中還有張叔夜、秦檜等主戰派，他們若鼓動著圣上與金人對抗，恐也將引發戰事，至百姓軍民慘遭涂炭，如此又該將如何？”