吳曦侍奉清楚自己能夠嫁入皇家，家族出力甚多，自然也明白家族也希望能夠借此重新崛起。但是事宜愿為，皇帝對后族并不親近，借著外戚不得干政的由頭，只賜了公爵，并沒有給予實職，讓賦閑在家的父兄們十分失望，對他自然也頗有怨氣。
緊接著皇帝又因為自己主持上元燈會花費巨多，對她大加訓斥。在此關系緊張之際，家中不爭氣的兄弟又借著她皇后的名頭，在京城中飛揚跋扈，偏偏正沖撞了御駕，惹得皇帝震怒，好懸將其當街斬殺。
吳曦當時即委屈又生氣，自己剛剛惹了陛下不喜，兄弟又惹出這等禍事。事后雖然在她的哀求下免于一死，但也逼的吳氏一族子弟被迫紛紛辭官，并十年之內不得參加科舉，這等于斷了吳氏入仕的通道。
聞知此消息后，吳曦驚懼異常，她明白這不僅僅是等于皇帝厭棄了吳家，且十年之中吳氏一族沒有任何人能夠入仕，那么家族勢力就會很快衰落，失去了崛起的根基，自己同時也失去了家族的助力，后位隨之不穩。
受到嚴懲的吳家一時間也老實了很多，吳曦也想著在與皇帝緩和關系后再向皇帝求情，收回圣命。可當自己誕下皇子后，吳家又不安分起來，借著皇帝親征不在宮中的機會，以探望為名頻頻入宮向她暗示要早立太子，并要她向籍地地方官員求情減免賦稅，保留身份。
但是吳曦萬萬沒有想到自家人拿著她的書信向地方官員施壓抗稅，并暗中指示士紳們圍攻府衙，驅逐朝廷下派管理鄉里的官吏。還不顧戰事仍然繼續，擅動鄉紳進京請命，太學生伏闕上書，反對皇帝變法革新，借此逼皇帝讓步。
可結果只是成為一場鬧劇，陛下擱置立儲，驅逐鎮壓進京士紳，說服了太學生，吳家也再度遭到打壓，不得不析產分家，家族分崩離析，各奔東西。吳曦也遭到皇帝措辭極為嚴厲的申飭，身邊親信內侍被撤換，兩人關系更加疏離。
吳曦那時真是寢食難安，擔心皇帝會借機廢后，后來聽說是太后召陛下說話才讓其按捺下了這個念頭。雖然度過了這場危機，但吳曦怪家人不識時務的同時，也對陛下有怨恨之意，覺得其對自家不公。
自己與陳淑同為后妃，但是陳家卻是圣寵不斷，父伯同殿為官，身居高位，把持著戶部和兵部兩個實權的部門。其兄長更是入內廷秘書省參贊軍機，協助皇帝處理政務，出將入相只是時間的問題。其家族之盛可謂滿朝無兩，比之自己的慘淡真是云泥之別。
現今皇帝的妃嬪又先后誕下四位皇子，讓吳曦更加綽綽不安，誕下陛下因對自家不喜進而厭棄自己的孩子，使得其盡管占盡嫡長也無緣皇位。而更讓她忌憚的還是陳淑。
陳淑幼年便與皇帝相熟，時常出入宮中伴駕，與陛下感情深厚。雖然當下只有一女，可難保不會再生出皇子來。而其父伯追隨皇帝于危難之時，既有擁龍之功，門生故舊遍及朝堂和軍中，足以左右皇帝的選擇，立庶子為儲也并非難事
“陛下就因此而容不下吳家嗎”長時間的壓抑和憋屈讓吳曦終于忍不住問出了積郁胸中的話。
“看來皇后對于朕對族中之人的態度還是有些怨氣的。”趙昺看看不知道鼓起多少勇氣才問出這句話的吳曦，并沒有責怪，而是笑笑道。