從社會層面轉入個人層面，蘇軾就任杭州通判的時候，正是他政治生命的青澀期，雖然年紀輕、資歷淺，但挫折感已經很深了。蘇軾本來正有大展宏圖、鵬程萬里的勢頭，但恰巧趕上王安石變法，恰巧自己偏偏站在王安石的對立面上。王安石為了保障變法工作的順利，就需要在中央多安排自己人，把反對派人物貶到地方上去。于是王安石要驅逐蘇軾，蘇軾要扳到王安石，你來我往，好不熱鬧。
兩大高手對決，蘇軾落敗，被外放到杭州做官。杭州副市長的職位對很多人來說都是夢寐以求的了，對蘇軾卻是完全不一樣的感覺。這一時期的蘇軾沒少思歸，比如《蝶戀花》：
雨后春容清更麗。只有離人，幽恨終難洗。北固山前三面水。碧瓊梳擁青螺髻。
一紙鄉書來萬里。問我何年，真個成歸計。白首送春拚一醉。東風吹破千行淚。
寫這首詞的時候，蘇軾在杭州已經待了三年。出游金山，雨后春色一番清麗，人也應該高高興興才是，而事實卻是“只有離人，幽恨終難洗”。突然接到家書，信中問自己何時返鄉。何時才能返鄉呢？自己也不知道，于是“白首送春拼一醉。東風吹破千行淚”。
杭州任滿，轉任密州，這一路上蘇軾，還是鄉思不斷。如《卜算子》：
蜀客到江南，長憶吳山好。吳蜀風流自古同，歸去應須早。
還與去年人，共藉西湖草。莫惜尊前仔細看，應是容顏老。
蘇軾是四川人，故稱蜀客。這位蜀客到了江南，游過江南的好山好水，現在又要離開了。年華易逝，歡宴難再，與其宦海奔波，不如及早歸去。這是熙寧七年（1074），全年之中，蘇軾詞作的一個主要基調就是思歸。在京口，蘇軾與同僚楊元素歡宴作別，席間作了一首《醉落魄》：
分攜如昨。人生到處萍飄泊。偶然相聚還離索。多病多愁，須信從來錯。
尊前一笑休辭卻。天涯同是傷淪落。故山猶負平生約。西望峨嵋，長羨歸飛鶴。
楊元素不但是蘇軾的同僚，而且也是蜀人，兩人曾經相約歸隱故山，結果誰都沒做到。西望四川峨眉山，只能羨慕仙人了。官服脫不去，家鄉歸不得。詞中很有人在官場身不由己的嘆息，也很有同是天涯淪落人的同病相憐。
同年九月，蘇軾經過蘇州，又做了一首《醉落魄》：