四、歸廬醉歌笑讀書
既然皇帝都要把孟浩然放歸了，那京城是留不住了，只有悻悻啟程。王維執手相送一程又一程。說來也怪，王維和李白幾乎是老死不相往來，孟浩然和他們卻都能分別做好朋友，人以群分在這里只有了一半的效力。
王維看著孟浩然落魄的樣子實在不忍，于是披肝瀝膽的做了一首贈別詩，開導了孟浩然一番：
《送孟六歸襄陽》
杜門不復出，久與世情疏。
以此為良策，勸君歸舊廬。
醉歌田舍酒，笑讀古人書。
好是一生事，無勞獻子虛。
“杜門”是“堵門”的通假，意思是閉門不出的意思。
“子虛”是個典故，漢司馬相如作《子虛賦》，假托子虛、烏有先生、亡是公三人互相問答。這也是成語“子虛烏有”的來歷。王維是在說：
君在家中長時間閉門不出，
世間人情世故早已經生疏。
我這里為你獻上一條良策，
勸告你回到鹿門山的舊屋。
醉借酒意在田間縱情高歌，
興之所至翻一翻圣賢之書。
這正是你這一生正確的事，
不要學相如妄想朝堂立足。
這話聽著刺耳，恰是王維的真心，他世代名門，既有敏銳的政治目光，又有識人之明，他對孟浩然的了解甚至高于孟浩然的自知。
孟浩然也不是不識好歹之人，對于王維情真意切的勸告，他倍受感動，回贈一首《留別王維》
寂寂竟何待，朝朝空自歸。
欲尋芳草去，惜與故人違。
當路誰相假？知音世所稀。
只應守寂寞，還掩故園扉。
孟浩然的意思是說：我在長安混的這么慘，也沒什么盼頭了，現在就要回去隱居了，只是可惜不能和你王維在一起了。朝中的大佬們誰能再拉我一把啊，除了你王維，我在這世上恐怕再也沒有知音了。看來我的命里只能是孤獨寂寞的終老田園了。
其中的“欲尋芳草”借用《離騷》中對芳草、芝蘭的用法，表達了自己高潔的志向，也就是說要歸隱了。“當路誰相假”一句中信息量大一些，其中“當路”是指“執掌權柄的人”，“相假”是指“互相借力、扶持”。
其實從這首詩里能看出孟浩然還是不死心，只是求仕無門而已。
就這樣，開元十七年（729年），孟浩然離開長安，不過他可按照王維畫的圈去做，而是繼續外出游歷，由此看出，孟浩然家境不錯，隨時都能開啟“想走就走”的旅行。
離開長安不久，他結識了一位曹姓御史，這位曹大人很欣賞他的才華，陪他旅游了一段時間后，表示愿意正式上表推薦他。彼時的孟浩然正在傷心懷才不遇，寫了一首《同曹三御史行泛湖歸越》的詩委婉的拒絕了他，詩的最后兩句是“杳冥云外去，誰不羨鴻飛”，那意思是說哥們這閑云野鶴的生涯你們羨慕去吧。
但是，很快孟浩然的心思又開始活泛，大約在開元二十年（公元732）左右的一個深秋，又一次在長江下游游歷，目睹蕭蕭落葉、大雁南飛，睹物思情，又寫下一首《江上早寒有懷》：
木落雁南度，北風江上寒。