好在伯顏此時已經回到了大都，全面主持軍政，與南朝議和的同時，也著手收拾爛攤子，重整軍務，布置防務，調整政策增加朝廷收入。而當初那些積極主戰者有的黯然離職，有的做了冷板凳，但還在相互甩鍋，指責對方應當為失敗負責。
不過在賀惟賢看來此番戰敗，其實對所有人心理都是一次大沖擊，因為多數人根本不知道自己會輸得這么慘，損兵數十萬，還失地千里，這是奇恥大辱。但如李謙這種儒者從政，學問是沒的說，最大問題還是不接地氣，這等人作為一個對邊疆軍事都不了解，更別說熟悉南朝情況的官僚，其的知識根本不足以支持他在戰和問題上作出理性判斷。
所以在戰敗后，李謙等人仍然力求“寧增賠款而不割地”，可惜你打輸了仗，之后決定權就不在你手里了，所以還是把伯顏拉出來擋在前面。而當為達成和議，不得不放棄被南朝實際占領的地盤，還要讓出西川時，他們又被激怒了，認為放棄西川是割地，對他們而言那就是不堪忍受的奇恥大辱。
不過他們還算清醒，放棄西川乃是大汗為了要回南陽和保住開封，以保留最后一絲顏面而做出的選擇，不能全部怪罪在伯顏身上。可依然對其不能勸諫大汗，阻止割讓西川，心生怨恨。但大汗病情危重，已經不能理政，可儲君尚確定，他們正為各自的主子奔走。而伯顏圣寵正隆，權勢滔天，正是他們爭取和拉攏的對象，矛盾得以被暫時掩蓋。
賀惟賢認為伯顏遲遲沒有在立儲中表明自己的立場，其實原因正是在于真金，其是在等待大汗表明心意。但是真金吸了福壽膏后，精神見好，又讓他升起繼續再干五百年的心思，而一旦立儲那么就可能引發太子覬覦汗位，生出奪位之心。
正是真金的私心讓伯顏陷入了兩難的境地，只能勉力在兩派中周旋，但這終歸是你死我活的斗爭。其的騎墻讓兩派皆心生不滿，懷疑與對手暗通屈幽，視為潛在的敵人。而爭斗中的兩派人馬皆知伯顏的能力和威望，其倒向任何一方都會成為壓倒另一方的砝碼。
兩派人馬懷著同樣的心思，自然都不想伯顏對方所用，而將其趕下臺，甚至弄死才是最穩妥的辦法。所以在伯顏在處理閬中事件出現失誤，引發了兩方合力攻訐，紛紛落井下石，將罪責全部歸于其。真金卻沒有力保，而是順勢免去了其中書省右丞之職，轉而以政敵桑哥接任。雖保留了其樞密使之職，可又被貶黜出京。
賀惟賢無法想象伯顏被大汗拋棄后是何感想，但離京時肯定是倍感凄涼與對大汗的失望。而他也對真金的薄涼有了進一步的警惕，自己的處境也正如俗話說的伴君如伴虎，別看現在受到寵信，說不得哪天就會翻臉，落得小命難保的結局。
賀惟賢對于伯顏死后的局勢，也是極度悲觀。有其在尚能壓制住蠢蠢欲動的西北叛王，震懾東道諸王，整合朝廷的亂局，應對南朝的進攻。而其一死，朝廷中再也沒有什么人能夠做到，至于眼前這位玩火的君王，他一點也不看好。