杜延年心中暗嘆：“我忘不了大將軍之恩。”
再推辭下去確實要惹怒天子了，對宗族不利，杜延年只好不情不愿地應征，接過太守冠帶和印綬，只帶了幾個仆從，離開了南陽老家，前往西河郡赴任。
這一路可不容易，西河郡位于并州刺史部，橫跨后世陜北、鄂爾多斯、晉西北，本是秦朝的“新秦中“一部分，楚漢時為冒頓單于所奪，置婁煩王，河南之戰后，漢武帝元朔四年（公元前125年）分上郡北部和太原郡西部，置西河郡。
戶十三萬，口六十萬，縣三十六，比上不足比下有余，最關鍵的是，從長安沿著秦直道往北，經上郡過西河，可以通往朔方、五原、云中、定襄、雁門、太原諸郡，是當仁不讓的“八郡通衢”。
杜延年在元霆年時，曾往返于西河朔方，迎劉詢南下繼位，對這里可不陌生，此地在后世干旱無比，到處都是光禿禿的黃土高塬，眼下卻是沃野千里，谷稼殷積，牛馬銜尾，群羊塞道，從各縣的名字就能看出來富庶程度：“美稷、廣田、谷羅、饒、富昌。”都是好地方呀。
元朔年后，西河郡成了漢朝歷次對外用兵的后勤基地。
雖然皇帝定了”竟寧“之稱，但杜延年卻隱隱覺得，有任弘在朝，傅介子等用事，絕不會就此作罷，皇帝也態度曖昧，這項任命就透著不尋常。
但杜延年也無所謂了，他仕途之心已冷，最好的年華和才干，都獻給了將軍，曾登上二府御史大夫之位，如今再來做郡守，只感覺索然無味。
抵達西河后，杜延年既沒有殺雞儆猴立下馬威，也沒有勤勉勞碌希望做出政績升遷入朝，只言：“孝武之世，征發煩數，今圣天子在位，當無為而治。”
然而就學起當年的曹參，自己整天痛飲美酒，跟他來的兒子和慕名來投的故吏見杜延年不理政事，想有言相勸，卻被杜延年邀約一起痛飲。
西河郡的這般光景，自然被并州刺史報了回去，劉詢不太高興，覺得杜延年這是在蔑視天子，治郡不進，遂以璽書斥責。
不過在璽書抵達前，杜延年就迎來了一位訪客，卻是以右將軍身份，帶著西園八校中四校以及四萬戍卒，前往朔方郡戍守練兵的趙充國。
“幼公莫非是以二府之職復徙為郡守，而對天子不滿？”趙充國有些擔心杜延年。
杜延年道：“仆只想在家著書立說，清凈了事，就算陛下請我去代替丙吉做丞相都不愿，又豈會在乎此事？”
共事多年，趙充國太了解他了：“幼公看似最為淡薄，實則最重故情。”
“我知道幼公是忘不了大將軍，只是，難道你還要一臣不侍二主么？”
杜延年緘默不言，良久道：“只是覺得對不住大將軍，無顏面再出仕……”
“大將軍臨終前分明已安排好了一切，我是未能好好引導霍禹、山、云三人，而終究導致大禍，延年分明知曉后果，卻棄之而退，心中愧然。”
趙充國笑道：“三人危害社稷，公然謀逆，罪有余辜，幼公已經盡力，你都如此，那老夫與丙吉、傅介子等皆是大將軍提攜，出事時站在天子一邊，豈不是更加羞愧？”
他嚴肅了下來：“吾等忠的是大漢社稷，忠的是為大漢盡職的霍大將軍，而非霍氏！”
“大將軍已去，難道霍禹等人還能繼承其業，讓霍家世代為大將軍，繼續專權不成？時移世易了，大將軍之時不復返，但大將軍臨終前念念不忘者的兩事，吾等卻能夠助他完成。”
“一是希望能有朝一日擊滅匈奴，二是不愿孝武晚年之事重蹈。”