此外，趙匡胤還做了一件趙昺以為大不妥的事情。其有次與趙普答對，問其“天下何物最大”，趙普對曰“道理最大”太祖認為極好。這也許就是其一時的想法，但是士大夫們就乘勢而入，并自以為開國皇帝認同了道理最大。這就意味著皇帝同時承認權力不是最大、皇權不是最大，皇帝的話并不是永遠正確的，也不是不可違背的。正因為君臣間達成了道理最大的共識，所以他們不認為臣要絕對服從于君。
在趙昺看來太祖混亂發言固然有過，但是士大夫們也非是什么君子，他們將此進行過度的解讀，使之成為有利于自己的規矩，等同于耍無賴一般。當然他心中也是埋怨自己這位祖宗，說話怎么不過腦子，也不想想道理是什么東西，能是他所能決定的嗎，該由誰來評判呢
明眼人都能看得出來，當然并非由君主自己來闡釋。確切地說，道理并不是掌握在哪一個人手里，而是蘊含在人心、天理與世代相承的傳統中，并由受過良好教育的士大夫群體發現、闡述出來；或者通過公議彰顯出來。而公議在趙昺看來就是另一個坑。以他的理解公議就相當于歐美國家的議會制，有事大家商量著來，是一種民主共治的體現，但這個在大宋卻有不同的解讀。
在朱熹看來，君主不可專斷，即使君主作出的裁斷是正確的、“悉當于理”，這樣做亦非為治之體，為治之本乃是服從于公議；蘇軾的解釋是“此言威福不可移于臣下也。欲威福不移于臣下，則莫若舍己而從眾，眾之所是，我則與之，眾之所非，我則去之。夫眾未有不公，而人君者，天下公議之主也，如此，則威福將安歸乎”這么一解釋，還有幾分“民主政治”的意味。
他們的意思無外乎是說，君主專行賞罰、獨攬威權，就是君主獨裁。但君主如果服從于公議，自然談不上君權獨裁，而且同時，也避免了威柄為左右一二權臣所擅。所以趙昺以為這種制度從面上看確實不錯，但是沒有集中的民主顯然就是一道限制皇權的繩索，否則說的對也不遵行，這又是哪門子道理呢
在實際實施中，宋代君主未必都能做到“舍己而從眾”，不過皇帝們確實比較尊重公議的力量，如果君主行事不合法度，立即就會受到公議的圍攻。簡單的說就是你一張嘴在與幾十張嘴，甚至是上百張嘴在爭辯，別說磨破嘴皮，就是將舌頭都磨沒了也勝不了啊結果就是道理都掌握在士大夫們的嘴里，皇帝就只能聽從他們口中的道理。
更為嚴重的是，趙昺發現宋代的仁君往往都是最遵紀守法的。君臣之間有所謂“法者，天子與天下共也”的共識，假如天子徇私枉法、偏袒私臣，就會受到士大夫集團的激烈反對，他們會搬出此來跟皇上爭辯“天下之法，當與天下共之，有司守之以死。雖天子不得而私也，而后天下之大公立。”
由此可見，至少在理論上，宋代的皇權絕不是至高無上的，在它的上面，還有天，還有法，還有道理，皇權受到了種種約束，也是一個強調天子亦必須服從于法的朝代。如果君主意欲攬權，則會被視為越俎代庖、侵占政府的正當權力，因而免不了要遭受群臣抗議“今百司各得守其職，而陛下奈何侵之乎”“天子而侵宰相之權，則公道已矣”