其實，自從作為正使前往蓋州與楊振私下議和歸來之后不久，拜尹圖就被投閑置散晾在一邊了。
等到碩托等人被扣押的消息傳回，他們與楊振私下議和的任務確定失敗之后，他又被推出來承擔了議和失敗的責任。
不僅被免掉了正黃旗總管大臣、議政大臣、管戶部事等的本兼各職，而且其爵位也從“鎮國公”直接降為了“一等鎮國將軍”。
最后被推出來替代拜尹圖擔任正黃旗協理旗務大臣，也即正黃旗總管大臣的人物，是覺羅郎球，同樣出身宗室，也基本上受到了正黃旗上下的認可，但是多爾袞的這個操作，卻令拜尹圖感到十分惱火。
當然了，令他感到惱火和不滿的，不僅僅是被擼掉了黃臺吉親封的職務和爵位，最主要的是多爾袞明晃晃地拿他當議和失敗的替罪羊，完全是在針對他。
想當初，多爾袞、碩托等人要與楊振私下談判議和的事情，他本來是堅決反對的，但多爾袞硬是給他安了一個南下議和正使的頭銜。
如果讓他發揮南下議和正使的作用，那他也認了，可事實上當時的副使是多爾袞眼前的紅人多羅誠郡王碩托。
在與楊振私下溝通議和的過程中，全程都是碩托在做主，他甚至連話都插不上幾句。
結果到了議和失敗，碩托被扣押，多爾袞終于發現自己上當受騙之后，竟然把全部責任一股腦兒推到了他這個本來八竿子打不著的人身上。
說到底，他只是奉旨跟著去了一趟，只是陪著碩托，作為見證，見了楊振幾次面兒而已。
除非這件事一開始對他來說就是一個圈套，否則的話他理解不了多爾袞對他的這種嚴厲處罰。
而這也意味著，多爾袞并不像他表面上說的那樣，愿意和衷共濟，絕不清算舊賬。
對拜尹圖來說，包括對類似于拜尹圖這種的，在黃臺吉生前備受重用的兩黃旗王公大臣，心里最怕的就是多爾袞將來清算舊賬。
畢竟，他們這些人，不僅在黃臺吉生前就與多爾袞、阿濟格兄弟多有嫌隙，而且在黃臺吉猝死前后特別是多爾袞試圖奪位的過程當中，直接站在了多爾袞兄弟的對立面。
雖然在多爾袞繼位以來，“大清國”內憂外患的形勢愈發嚴重，有鑒于此，其在排除異己和翻舊賬方面，一直表現得比較克制，沒有全面清算曾經與他為敵的人。
但是多爾袞是什么樣的人，拜尹圖他們都很清楚，其人才智超絕是真的，但是睚眥必報也是真的。
而且一朝天子一朝臣，自古以來就是朝堂慣例，何況是從黃臺吉到多爾袞這兩個明爭暗斗了多少年的人物之間的權力更替，不殺個人頭滾滾、血雨腥風，他們都覺得不正常。
不只是多爾袞自己身邊的親信大臣、左膀右臂們，覺得這個情況不正常，認為不清算敵人，他們的權力基礎不牢靠。
而且包括拜尹圖這樣的人，也覺得多爾袞的性子轉變不正常，認為其不過是迫于內外的壓力采取的緩兵之計，其早晚要暴露真面目，徹底清算崇德皇帝黃臺吉生前的那些鐵桿支持者。
既然存了這樣的心思，拜尹圖把多爾袞登基的許多行為，都看成了大清算的前兆。
比如，他被多爾袞做局，不僅被擼掉了正黃旗總管大臣等本兼各職，而且還被降爵，從黃臺吉親封的“奉恩鎮國公”，連降好幾等，變成了“一等鎮國將軍”。
再比如前不久，黃臺吉生前倚重的鑲黃旗總管大臣揚善，只因為阿濟格在悔罪書里提到了羅碩在海州城已投降的“傳聞”，就被多爾袞罷免了總管大臣的職務，而且一擼到底，差點直接下獄了。
而最令拜尹圖他們這些人不安的是，揚善被罷免后，多爾袞不再征求兩黃旗宗室王公貴戚們的意見，直接任命了何洛會出任鑲黃旗總管大臣。
何洛會曾經先后當過正黃旗的蒙古固山額真、滿洲固山額真，其人在任期間拼命投機鉆營，為了表現他是黃臺吉的死忠、孤臣，不僅與當時的掌管旗務的肅親王豪格不和，而且也與兩黃旗的許多王公大臣不和，動不動就打他們的小報告。