呂易忠大怒，心想你個狂生不過是個秀才而已，一味持才放曠，指著鼻子斥責道：“你個狂悖之徒，再要胡言亂語，辦你個擾亂軍心之罪！”
“哼，軍心還要我擾亂么？”錢太沖毫不買賬，正要反唇相譏，有人過來尋找他們。
“諸位先生，請速去大營會議！”
出城的時候，錢太沖發覺城門口的諸軍已經全部換成了鎮標的人馬，個個刀槍出鞘十分嚴整。滾滾
一行人的馬匹從城門洞滾滾而過，城門口的官兵在他們出去之后并不關閉城門，城門繼續打開著，方便人馬進出。
中軍營寨里，雖然何如賓的家丁和鎮標還保持著相當的穩定，但是這一場火箭雨使得營中的士氣已經降低到最低。許多人都在竊竊私語，認為肯定要退兵了。
大帳之中，各營主將已經到了。他們現在已經深切知道髡賊火器的厲害，在這里安營扎寨毫無安全感，而且墻造得再高，壕挖得再深也不抵用，髡賊的火箭能從十多里外射過來，一射就是成百，這仗是沒法再打了。
眾將毫無戰意，主帥也覺得打不下去了。何如賓知道此時繼續堅持在澄邁安營與髡賊對峙已經毫無意義，現在軍中士氣已經瓦解，糧道又不能很快恢復。不如乘著兵力尚未受到毀滅性的打擊先行退到瓊山就糧，起碼還有能向上塞責的余地。不過退兵這樣的決定他無權一個人做出，他把目光轉向趙汝義。
趙汝義早就想退兵了――這次討伐髡賊是明擺著必敗無疑了，剛才的火攻嚇得他差點靈魂出竅。這樣不論前線后方的無差別遠程攻擊他還是第一次遇到。他的一個仆人在火箭攻擊中被一枚火箭直接命中當場死去。他更希望早點脫離這樣的絕地，眼見諸將都持退兵之意。也就順水推舟的同意了。
接下來又討論各營退卻的順序和聯絡的旗號、方式，何如賓知道此次退兵回去自己恐怕很難向總督向朝廷交待了，不由得面色晦暗，任由大家商議，自己不置一詞。趙汝義見他面色不好，生怕他一時想不開瘋了或者自殺――主將一死，這二萬人馬頓時就要潰散。所以他大聲對眾將道：
“我兵伐賊連勝，現石山小挫，大軍且回瓊山就食再做計較！”
當下他又說了許多鼓舞諸將士氣的話，這才把大帳中的氣氛稍稍挽回一些。決定撤退的時間定在明天一早，以免夜間突圍各部看不清楚造成混亂和迷路。
規定由陳人杰帶著瓊崖參將的本部人馬和海南本地的操軍、鄉勇走在最前面負責開路。五個參將中以湯允文的人馬最為完整，隊伍中又大多是本地人，地形熟悉。操軍和鄉勇家鄉營盤多在瓊山、文昌一帶，讓他們進攻臨高斗志不高，但是奪路而還的戰斗意志應該還是有得。
各部緊隨其后且戰且走。殿后的人馬由鎮標營中軍守備，游擊孫昌祚率領。何如賓撥給他二千人馬，其中有何如賓的騎馬家丁一百人和宋銘的一百騎。孫昌祚知道這二百騎是鎮臺大人給他保命用得。當下十分感激，表示自己將會率領人馬死戰殿后。
殿軍中還有李陌刀的火器營。這個失掉了大炮的火器營在大家看來已經毫無作用，于是李陌刀就只能帶著火器營據守營寨，最后一個退出大營撤退了。何如賓給他的指示是若是道路被截斷撤不下去，就直接退入澄邁縣城中協守。
諸將辭出后，何如賓關照趙汝義：“大人且在本鎮老營休息，待天亮之后再隨老營撤退。”
趙汝義卻道：“學生還有些行李在城中沒有收拾……”