嚴嵩在西苑待很久，嘉靖也一直和嚴嵩閑聊著。君臣二人都很默契的沒有再聊政務，而是談了一些往事。
嘉靖過了一會才說道：“惟中，深秋寒涼，還是到無逸殿中區吧。”
兩人到了無逸殿內，嚴嵩這才仔細打量著這座他再熟悉不過的宮殿，嘉靖見狀說道：“有些不舍，要不然還是留下來吧。”
嚴嵩笑著說道：“陛下，說笑了，老臣還是要最后一點體面的。”
嘉靖笑笑，還是問道：“惟中覺得裕王如何？”
這還是嘉靖第一次問嚴嵩這個問題，嚴嵩聽了之后，也是十分認真的思考了一下，嚴嵩才說道：“陛下，殿下英果睿智，富于決斷，見事長遠，有類成祖。”
嘉靖聽了之后說道：“惟中也只是撿好的說的，他這人，于朝局還缺乏鍛煉，尚不知人心險惡，”
嚴嵩說道：“圣明無過陛下，有陛下在，哪有魑魅魍魎，殿下待年歲漸長，自然會世事洞明的。”
嘉靖只是笑笑，并沒有在這個話題上糾結，隨著金烏西墜，嚴嵩向嘉靖告辭，嘉靖說道：“朕送送惟中吧！”
嘉靖親自送嚴嵩到無逸殿外，嘉靖這才說道：“惟中，現已深秋，水路不便，還是等到來年天氣暖和再走吧。”
嚴嵩趕緊說道：“臣謹遵陛下之命。”
嚴嵩回家之后，派嚴世蕃到自己內閣值房收拾東西，將嚴嵩的個人物品都搬回了嚴府，這下百官都明白嚴嵩是真的想致仕了。
在嘉靖不允嚴嵩致仕后，嚴嵩第二次上疏嘉靖請求致仕，而且嚴世蕃也同時上疏請求致仕一同回鄉照顧自己父親。嘉靖還是不允，御批道：卿效勞年久，何忍遽離，使國失棟梁，朕無股肱乎？
其實朝廷上下現在都看明白了，這一對君臣是在玩三辭三讓的把戲呢。
嘉靖的再次不允嚴嵩的致仕奏疏后，嚴嵩于第二天向嘉靖第三次上疏請求致仕，嚴嵩在奏疏中陳述自己實在是精力不濟，年事已高，現在已經是風燭殘年了，他現在唯一的心愿就是和自己的老妻一道回分宜老家，安享晚年，懇請嘉靖準允。
嚴嵩的奏疏言辭懇切，嘉靖收到奏疏之后，并沒有第一時間做出反應，而是召集內閣，對徐階等人說道：“嚴閣老上疏求去，言辭懇切，你們怎么看？”
徐階說道：“陛下，嚴閣老現在還不能輕離，國家正是多事之秋，嚴閣老身系柱石之任，豈可輕離？”