后來，當唐恪再次催促趙桓趕緊離京時，趙桓直接翻臉說：“朕當死守社稷也！”
侍御史胡舜陟趁機上奏，彈劾唐恪無能。
胡舜陟說唐恪智慮短淺，不能經畫邊事，根本不配當宰相。
當時，汴梁城中的軍民也普遍認為，唐恪昏懦無能，人們甚至想找機會揍他。
一晚，唐恪乘轎外出，被百姓發現。
百姓竟然皆向唐恪拋磚扔瓦，甚至將唐恪照明的燈籠都打破了。
在侍衛的保護下，唐恪好不容易才騎馬逃脫。
回家后，唐恪便上書請求辭去宰相之位。
趙桓覺得，唐恪已失人心，關鍵，唐恪上任已經兩三個月了，一點作為都沒有，金人又快打到東京了，趙桓認為唐恪沒有宰相之才，遂免去唐恪的少宰職務，讓唐恪擔任觀文殿大學士、中太一宮使兼侍讀離開了朝堂。
宋朝，尤其是北宋，是最崇文抑武。
韓擎很怕，自己忙活了一溜十三刀，最好再叫一個文人拿去了領頭人之位。
如果是那樣，韓擎的權力變小受人限制不說，關鍵，韓擎好不容易才創造出來的扭轉乾坤、改寫歷史的機會沒準也會被那個文人給敗禍了。
所以，于私于公，韓擎都必須要保證自己能成為領頭人，不能讓這個權力旁落。
基于此，韓擎決定拉一個身份地位能壓住所有文官又不適合當領頭人的人入伙。
將所有文官的履歷翻了一遍，韓擎發現，沒有比當過宰相又非常不得人心的唐恪更合適的了。
而且，在韓擎看來，唐恪絕對是能看清形勢和有遠見的，至少要比趙桓任用的其他宰相要強得多。
再看唐恪的履歷，他歷任縣尉、知府、轉運判官等地方官職，完全是從基層干起，逐步被提拔到中央的，因此，他應該是有能力的，只不過當時的形勢太過混亂，關鍵趙桓又戰和不定對他掣肘太多，讓他完全沒有機會展示他的能力。
另外，歷史上，趙佶、趙桓北擄后，金人立張邦昌為皇帝，唐恪根據當時的形勢判斷支持張邦昌稱帝才是最正確的選擇，因此予以支持，但在推戴狀上簽名后就服毒自盡了。
這說明，唐恪不僅能看清形勢，做出最正確的選擇，氣節上也是沒有問題的——唐恪是贊成異姓稱帝了，但他最后把命都賠給老趙家為大宋殉國了，也算是對得起趙宋了。
總之，不論從哪個方面來看，唐恪都符合韓擎心中的人選。
所以，韓擎才親自將唐恪請出來，并在此刻最先請唐恪坐自己的帥位。
唐恪果然沒讓韓擎失望，他很干脆的說：“唐恪有心救國無力回天，值此千鈞一發時刻，怎可坐此座，為大家平生困難？”
韓擎又勸了一句：“如今來看，相公當日之謀，實屬救國良策，是世人誤會相公了，還請相公坐在此座，領導我等抗金救國。”
唐恪很感激韓擎能說出這番為他正名的話！
不過，唐恪心里非常清楚，他如果坐在了韓擎的帥座上，肯定會壞了趙宋唯一的機會。
更重要的是，唐恪已經看出來了，別看韓擎現在謙恭有禮，可一旦誰不開眼，去坐了韓擎的帥座，那么韓擎鐵定不會盡全力推動此事，甚至會直接翻臉，然后擁兵自重。
就目前的形勢來看，手握重兵的韓擎要是不全力以赴，那么趙宋肯定是一點機會都沒有。
所以，唐恪搖了搖頭，說：“非是我謙虛，而是我坐此座，于形勢有百害而無一益，故此座我絕不能坐。”
……