官僚士大夫站在統治階級的立場，對胥吏的不法行為大加指責，片面夸大胥吏的消極影響，而忽視他們在國家政治中的積極作用，社會上看他們更是“以奴隸使之，以盜賊待之”，身份之賤與娼妓、奴仆為伍，偏偏他們又掌握著社會管理的實權，到了節骨眼上，反倒能一言決人生死。
趙昺以為這是不公允的。吏強官弱是由政治的、經濟的、文化的等多種因素造成的。就政治因素而言，宋朝建立于五代戰亂之后，宋代統治者為有效地鞏固自己的統治，把權力集于一身，使中央各部門之間、中央與地方之間相互牽制，上下級之間相互制約，事事都放心不下，社會各方面諸多問題都要取旨于皇朝，這樣在一定程度上造成了政策措施的復雜多變。
宋代的吏人數量的增加、隊伍的龐大是其勢力增加的直接原因。吏額繁冗不僅造成人浮于事、行政效率低下，由于中央集權制的加強和官僚政治的膨脹，作為相對獨立的政治力量，在政治舞臺上顯得更為活躍。且也使之易于營黨植私，形成集團勢力維護其在政治上的地位。因為從根本上說，多變復雜的官僚政治運行機制造成了吏胥隊伍的龐大。
“陛下一語中的，官懼吏由來已久。他們對屬下胥吏是瞧之不起，卻又頗為依賴，言之又怕又恨亦不為過。”徐宗仁對于小皇帝的總結十分贊成，笑著言道，“有的官為能掌控胥吏自己不受欺侮，他們寄予嚴刑厲法之上，但往往難以解決，甚至反遭報復。”
“還有以下犯上的事情這卻有些意思了。”趙昺笑笑道，挪挪屁股擺出副十分有興趣的樣子。
“確有此事，當然他們還不敢殺害上官，可暗中做些手腳還是不少的。有的胥吏同時告辭，以致衙門空無一人站班，一縣公務無人打理；或有的胥吏向上級官府告狀，故意制造事端，以此迫使官員辭官離任；更有甚者，暗中搜集官員的劣跡，伺機報復，以致被罷官下獄的官員不在少數”
“呵呵，一個初出茅廬的儒士，即無從政經驗，又無處理政務的本事，又如何斗得過那些在官場上練的早已油滑無比的老吏們，即便將他們賣了怕還幫著數錢呢”趙昺可以想象的出來那些被猾吏們挾制的官員，憤怒又無奈的樣子，忍不住笑著道。
“唉，朝廷將政事委于官，官又付于吏，由吏來付諸實施。因而治狀的好壞要取決于胥吏的努力，而政績優劣又與官員的仕途、前程密不可分，從而導致官員大多不敢制吏，甚至于故縱胥吏行不法之事，或是狼狽為奸沆瀣一氣，以致民怨沸騰。而究其緣由，還是因為官不懂政務，過于對胥吏的依賴。”徐宗仁無奈地道，可能也是想起自己也曾深受胥吏們的戲弄和欺辱。
“朕也曾于書中看到有官員感嘆今天下官無封建而吏有封建。此前尚不甚了了，今聽卿家一席話才知有過之而不及”趙昺苦笑著道。當然他所言的封建，不是封建社會的封建，而是分封諸侯、世襲傳承的封建。言下之意是，官已經是流官，吏卻變成了世代傳承的“世職”，這是“天下之大害”。
“極是，極是啊”徐宗仁叫絕道，“州縣之敝，吏胥窟穴其中，父以是傳之子，兄以是傳之弟。而其尤桀黠者，則進而為院司之書吏，以掣州縣之權，上之人明知其為天下之大害而不能去也。久之，百官之權必一切歸之吏胥，是所謂百官者虛名，而秉國者吏胥而已。臣以為當臣此舊制已廢，新制未興之際，陛下當革除弊端，重整吏治”