得到肯定的答復后，這名將官頓時大松了一口氣，解釋了一番。
原來，這群將官是“吳王”張士誠的親兵，他們奉了張士誠的弟弟張士信的命令，請倪瓚為他作畫。
說罷，這名將官便將作畫的絹帛以及大量的銀錢，派人送到了船上后，便離開了。
等倪瓚醒來之后，見到船上多了這么多的銀錢，頓時大吃一驚，便問仆人發生了什么事。
仆人自然不敢隱瞞，一五一十地將事情說了一遍。
倪瓚聽后，頓時大怒：
“倪瓚不能為王門畫師！”
說了這話還不罷休，拿起張士信送來的絹帛便撕了，這還沒完，又讓其中一個仆人，將那些銀錢全都給退了回去。
好巧不巧，這事發生之后沒多久，這一天，倪瓚又乘船游覽太湖，結果正好碰到了張士信。
正所謂冤家路窄，相見眼紅。
張士信二話不說，讓人將倪瓚的船攔下來，并將他拖出來暴打了一頓。
奇怪的是，人都被打了，倪瓚卻是一言不發。
這事過后，有朋友碰見了倪瓚，便好奇地問他，為什么當初不解釋一番？
倪瓚輕“哼”了一聲，說道：
“一出聲，便俗了。”
元至正二十三年（1363），其妻蔣氏病死，倪瓚受到很大的打擊，長子早喪，次子不孝，生活越覺孤苦無依，內心煩惱苦悶，無所適從，只能將一番情緒付諸畫筆。
事實上，倪瓚不只是在生活上有潔癖，不問政治的他，在思想上也是一如既往的愛潔成癖。
明初，朱元璋曾召倪瓚進京供職，他堅辭不赴。
明洪武五年（1372）五月二十七日（6月28日），倪瓚作《題彥真屋》詩云：“只傍清水不染塵”，表示不愿做官。
而且，他在畫上題詩書款也只寫甲子紀年，不用洪武紀年。
這一年，他在一個被稱為煥伯的好友處，修養了數月，臨離去之前，特意為他作了一幅《江亭山色圖》，以作留念。
這幅畫，秋林蕭瑟，空亭寂寥，茫茫湖水一片，遠處畫平坡遠岫，給人水闊天高、蕭疏淡遠之感。
事實上，到了晚期，倪瓚的畫作最大的特點，就是素凈、筆簡、意遠，沒有一點煙火氣，呈現出一片孤寂，孤寂得讓人絕望。
明末清初著名書畫家、常州畫派的開山祖師，后來成為清六家之一的惲南田，他的花鳥活色生香，可是他最欣賞倪瓚的“真寂寞”之境，他說倪瓚的畫“真寂寞之境，再著一點便俗”。
他的“真寂寞”，讓他畫里，沒有一個活物，就好像洗過無數遍的那個歌姬一樣，干干凈凈。
明洪武七年（1374），倪瓚中秋之夜身染脾疾，自此一病不起，于陰歷十一月十一日（12月14日）與世長辭，享年74歲。
向南緩緩睜開眼，面前依舊是那幅破爛不堪的《江亭山色圖》，如今也已經被清洗得干干凈凈，畫面之上，蟲洞雖多，可那種淡泊寧遠、孤單寂寥的意境，隱約間，撲面而來。
也不知道，這個在生活上愛潔成癖，清高孤傲到“只伴清水不染塵”，連畫作也是干干凈凈，不見一個人影的倪瓚，在另一個世界里，還能否繼續保持這種干凈的靈魂？