章惇因積極參與熙寧變法，屢次被貶，很快又被召回京任門下侍郎，為副相之首，徐公也進京被封為少府，跟隨章惇推行王安石新法。
宋神宗趙頊三十多歲就憂郁而逝，年僅十歲的宋哲宗趙煦即位，高太后垂簾聽政。以高太后為首的舊黨派控制了朝廷，廢除了王安石的新法，并且開展了一系列打壓新黨的行動。章惇被貶，元祐黨爭時被放逐到嶺南。徐公作為章惇的親信，新法的推行者，也一并被放逐到嶺南。
徐公的妻子不離不棄，他們膝下只有一女叫豆蔻，年僅十三歲，徐公托友人將女兒送至陳州的長姐家。徐公夫婦隨章惇及一眾推行新法的官員被放逐到了嶺南。
高太后對新黨的打擊和傾軋始終如一，從未放松過。嶺南氣候惡劣，徐公的妻子不久便病死他鄉。
高太后垂簾聽政九年后逝去，宋哲宗趙煦親政，章惇被啟用為相，凡是元祐黨爭所改，全都恢復，引用蔡卞等人，全部居重要職位、擔任言官，繼續推行王安石新法。
徐公也被召回，做了相府的總管。
宋哲宗后，宋徽宗趙佶繼承皇位，朝中新舊兩派勢力斗爭如火如荼，由于朝臣多人彈劾章惇，宋徽宗多次將其貶謫，徐公的命運也跟著起伏，多年的動蕩不安，徐公未再娶妻。
章惇年邁，五次上表，請求免去政事：“惇遇先皇求變圖強之際，推行變法，未嘗懈怠。今先皇已逝，臣痛悲無以自拔，自感老之將至，無從專精國事。懇請允準臣辭官退隱。”圣詔不允，后被貶死湖州。
此時徐公也年過花甲，上奏請求告老還鄉，回家鄉陳州治學山林。
朝中的達官貴人風行書法繪畫，書畫不單是一種技能，還是朝臣之間的交際應酬之必需手段。大宋朝奉行文人治國，正所謂“筆墨寫春秋，揮毫斥方遒”。但凡朝中官員，詩詞歌賦，吟詩作畫樣樣精通。
徐公在朝中也算得上書法大家，他的字似行云流水間，潑墨如灑酒。徐公喜愛收藏，除了本朝大家的書畫作品外，還藏有幾幅前代畫家的作品。其中有吳道子的《天王送子圖》，東晉顧愷之的《仕女圖》，他還有一幀當今皇上的花鳥畫，畫幅上有宋徽宗趙佶的瘦金體題詞。
徐公的女兒豆蔻十三歲時寄養在姑母于家，姑父做木材生意，早年得益于徐公的資助，家里擁有一個大型的木材場，于家雖不算大富，家境還比較殷實。姑母拿豆蔻當女兒看待，百般疼愛，只怕她受了委屈對不起自己兄弟。姑母和姑父膝下只有一子，名叫于天佑，比豆蔻大四歲，是豆蔻的表哥。于天佑從小嬌生慣養，生性頑劣不羈，但他很喜愛豆蔻這個表妹，對她呵護有加。
豆蔻從小生長在京城，受過良好的教育，琴棋書畫樣樣精通，行為舉止溫柔端莊，妥妥的大家閨秀。
轉眼三年過去了，豆蔻已出落得花容月貌，楚楚動人。陳州城內的名門大戶紛紛上門提親，哪知表哥于天佑早就對豆蔻動了心思。見有人上門提親，于天佑惱羞成怒，向父母攤牌，講明自己要娶豆蔻為妻，萬不可把她許配給旁人。
徐氏覺得自己的兒子于天佑惰性十足，頑劣不羈，又不愛讀書上進，十足的刁徒潑皮，配不上豆蔻，不能讓他糟蹋了豆蔻一生，拒絕了于天佑的要求。徐氏說道：“豆蔻是你妹子，哪有兄妹成婚的道理？”
“她明明是我表妹，姑表兄妹成親的多了，為何我不能娶表妹為妻？”