賀惟賢作為曾經世侯的子弟，十分懷念父祖時美好的生活
蒙古侵入中原初期，漢人世侯依附在蒙古朝廷，必須向蒙古汗帳盡七項義務，分別是納質、助軍、輸糧、設驛、編戶籍、設置達魯花赤、入覲，若不遵循將遭到毀滅打擊。當然，他們在轄區內有著軍、民、財及司法等權力。
蒙古征戰東亞這一大塊疆域，降蒙漢人出力甚大，這就是涉及到的“助軍”義務。蒙古攻掠和滅亡金朝，降蒙漢人組成組織出一支大軍隨從征伐，作用很大。尤其是一些特別難以攻陷的城寨，主要依賴漢軍；蒙古兵善騎射野戰，不擅攻堅戰。
在蒙古的征伐戰爭中，雖然世侯們出兵出錢，甚至有子弟在征戰中陣亡，但是也換來了好日子。在征戰之余，漢人世侯不單履行助軍義務，并且在轄區內勸課農桑、安撫流民、積極發展社會生產，在戰亂震蕩的年代維護著蒙古漢地的穩定。
他們在自己的勢力范圍內，漢人世侯力圖保持中原傳統的農業生產，除原有一批亦兵亦農的依附人口。在形成勢力范圍后，他們又進一步招集戰亂中的流散人口，分給土地、房屋、耕牛和農具，恢境內的農業生產。他們修倉積谷，甚至用武力來保護收獲。但同時，依附于世侯的勞動人口必須負擔沉重的賦稅和勞役。
在各地征戰中，漢人世侯還在蒙古游牧貴族的影響下把許多戰爭中的俘虜和擄掠到的人口用作驅奴。世侯占有的驅奴往往多到幾百幾千，用以應付蒙古統治者的兵役和差役，平時也用以從事農業勞動。他們的身份地位比一般農民更低，沒有任人身自由。但是在役使一段時間以后，世侯也就把他們“遺放為良”，轉化為一般的依附人口。
為了在自己的勢力范圍內有效的進行統制，世侯們紛紛開設幕府，延納流落在各地的士大夫。在金衰蒙興的過程中，殘留的金源士大夫除少數退隱于窮鄉僻壤外，相當多的人陸續投身于世侯幕下，成為世侯幕僚。世侯依靠這些幕僚治理地方，開學養士。他們聚在一起，尊崇和扶植儒學，講究經史，推明治道。
保存在世侯幕府中的“秀民賢才”后來一個個進入忽必烈的王邸，為忽必烈建立元朝立下了重大的事功。他們所培養的新的儒士，不少人后來也成了元廷的職官。他們協助蒙古人推行漢法，建國立志，當然也依然與從前的恩主保持著密切的關系，在朝廷和地方相互呼應，形成利益集團。
但正所謂盛極而衰，鳥盡弓藏。賀惟賢記的自己尚是懵懂的幼年，家中突然散盡了奴仆，父叔們則如喪考妣從家中析戶遷出，他也隨父親離開世居的中原，前往苦寒的北地深處赴職。而少年時又接受征召，回到大都入怯薛軍服役，再沒有回過家。
賀惟賢彼時尚不明白為何如此，但是入朝多年后也漸漸明白作為蒙古汗廷間接統治中原地區的工具，漢人世侯在金末元初之際對于安定社會秩序起到了積極作用。但其作為割據一方的世侯，隨著大蒙古國的統治漸趨深入，化人世侯與投下封君乃至汗庭的矛盾也就日漸凸顯出來。