接著，敗仗的消息一個接一個的從海南傳來，一個比一個確切。官軍在澄邁慘敗，全軍覆沒，多名朝廷經制武裝陣亡。這個消息如同晴天霹靂，使得王尊德的精神受到很大的打擊。接著，髡賊攻陷儋州，包圍海口所城和瓊州府的消息讓他完全陷入了絕望。
從被拿獲得零零星星從海南敗逃回來的潰兵口中和何如賓等人遮遮掩掩的文書中，他知道髡賊不但火器犀利而且軍力極其強大，
很快，在廣州已經沒有什么軍務可以處理的了。來自海南島的消息徹底的斷絕了。髡賊的戰艦封鎖了瓊州海峽，官軍的船只已經不能在進入海峽了。
官場的風聲傳得比什么都快。大家都知道：王尊德完了。不但皇帝不可能容許這樣的慘敗，朝廷和地方上他的政敵和仇家們，也不會放棄這個大好機會。許多人已經在暗中談論王尊德罷官甚至被逮入京的日子了。
官場的人心是最為世態炎涼的。這樣的局面下他在廣州成了一個無人理睬的總督。除了幕僚們之外沒有人再來和他商談什么。連廣州知府和兩縣的縣令都變得怠慢起來。無奈之中又遷回了肇慶。
在肇慶同樣無事可做。他的臉色變得很是憔悴。因為舟車勞頓，到肇慶之后不久就病倒了。
塘報和文書依然源源不斷的送到總督衙門來，但是幕僚們已經很少被召見去討論下一步的軍事方略了。其實幕僚們都很清楚，廣東的兵力已經空了――除了東西山的防瑤參將之外，廣東已經沒有成建制的兵力了。
他的病情在這樣的焦慮下一日重似一日，最讓他的焦急的是髡賊不知道是否會趁勢進犯廣州－－如果這樣，廣東已經幾無可御敵之兵了。
沒有多少日子，就有塘報稱，有形制奇特的船只在珠江口窺視。這些船只航行輕快，船身修長，和中國船只、紅毛船只皆然不同，顯然是澳洲人的快船。
面臨的危機使得他不得不勉力支撐，幾次召見幕僚們商議對策。加強珠江口的防御。
這一天他的精神略略好些。在書房里拆看文書。巡按御史高舜欽來了一份文書，他已上奏請求封鎖廣州灣，徹底斷絕與澳門的葡萄牙人的貿易，“以絕匪類”。
王尊德此時只有苦笑了――如果澳洲人來攻打廣州，澳門的葡萄牙人大概是惟一可以指望保衛珠江口的海上力量了，這會還談什么“以絕匪類”。澳洲人這個更大股的匪類就要到來了。
“老爺，李贊畫來了。”一個仆人小聲的說道。
他無力地說：“請進來！”
李息覺進來了。自從呂易忠隨軍出征之后，他就成了王尊德最得力親信的幕僚了。很多時候也只有他才能見到總督大人。
王尊德讓人送上茶茗，努力露出來一絲平靜的微笑。李息覺臉色蒼白，坐下以后，望望督師的神色，欠身問：
“大人的身體可否好些了？”
王尊德微笑搖頭，說：“偶感風寒，并無大礙。”他見李息覺的手里拿有一封文書，便問：“你拿的是什么文書？”