這也是因為他同樣經歷過大宋的至暗時刻，先有丁大中，又有賈似道，后有陳宜中。他們初期也算是一時才俊，但往往篡得相位后就開始任用私人，打擊異己，進而獨攬大權，把持朝政。而皇帝對此卻無能為力，甚至發生了陳宜中棄行朝出走的事件，險些葬送了大宋朝。
“陛下與君直所言皆不錯，君明臣賢缺一不可，而一方過于強勢，都會使得朝廷失衡，動亂叢生。因而如何做，還需詳加考量，吾以為皇帝之權不可輕去。”王應麟一聽這要弄頂了，下邊就沒法繼續了，連忙從中調和，試圖岔開這個敏感的話題。
“臣思慮不周，陛下贖罪。”謝枋得也忙施禮道。他沒想到小皇帝會以其人之道還治其人之身，將自己打了個措手不及，暗道下來說話要更加謹慎。
“所謂道理不辨不明，我們君臣私下間說話，不必有那么多的顧及。如若皆順著朕的意思，豈不是無趣，也難以明辨是非。而朕也非圣賢，行事也需臣僚們的輔佐，否則天下事皆歸于朕，累死也無法一一解決”趙昺擺擺手表示自己不在意，又指指一旁案上盈尺厚的公文笑道。
“陛下所言極是。”謝枋得施禮道，“外儲說右下曰人主者，守法責成以立功者也。聞有吏雖亂而有獨善之民，不聞有亂民而有獨治之吏，故明主治吏不治民。說在搖木之本，與引綱之網。故失火之嗇夫，不可不論也。救火者，吏操壺走火，則一人之用也，操鞭使人，則役萬夫。正是此理。”
“疊山先生此言不假，朕是深有體會。在瓊州之時，地狹人稀，尚能勉力應付。收復江南，入主臨安后，公事日雜，已經窮于應付，片刻不得閑。而此次北伐，事務更加繁瑣，雖有諸位從旁輔佐，卻也應接不暇，困頓不堪”趙昺連連搖頭苦笑道。
他明白中國傳統的政治結構是三個層次君、臣、民。其中的君，代表決策系統。臣，作為官僚機構的運行者，代表行政系統。民，是代表廣大受統治管理的民眾。這三者的關系，是君王通過官吏來管理民眾，以使整個社會生活得以有效運行，故其行政管理結構是君管臣，臣管民。
一旦打破這個結構，由皇帝直管民事，那是萬萬做不到的，而趙昺加強皇權的同時，就必須接過諸多的事務。那么中間層也要事事要經過他的同意才能執行，這就給皇帝造成了沉重的負擔，若是沒有一副好體格加上清醒的頭腦，還真是難以做到，而長此以往，他自覺也得像雍正一樣累死在公案上。
“陛下之辛勞，臣過去尚難體會，而此次隨扈北伐，臣卻深有所感。”王應麟見陛下并沒有因此而生氣，也是暗松口氣言道，“北伐之中，陛下不僅要運籌帷幄，謀劃戰事，還要時時處理公文，每每深夜尚不得就寢。而緊急之時，更是難得片刻休息。臣以前自覺公事勤勉，而今卻是為之汗顏不已”