不過這種完美的生活狀態在去年被海漢人的到來給破壞了，盡管在此之前舟山船幫憑借倒賣海漢貨物也獲利頗豐，廖訓自己也從中得了不少好處，但海漢人來到浙江之后，并沒有給舟山船幫這個“編外代理商”留下任何臉面，直接便動手搶地盤了。
海漢人登陸寧波石浦港的消息剛傳到杭州，沒等這邊有所反應，海漢人攻下六橫島的消息便接踵而至，而當廖訓等人還沒判斷出海漢人是否會對舟山動手的時候，東海上已經開戰了。等杭州這邊試圖以官方身份出面阻止海漢人這種野蠻行徑的時候，圍繞舟山群島控制權而展開的戰斗卻已經結束了，舟山島在海漢大軍水陸夾攻之下迅速淪陷，島主汪加林生死不明。
所有人才意識到這幫南方蠻子可不只是精于海上貿易的商人而已，其戰力和野心之強，還遠在早年騷擾東海的倭寇和西番之上。雖然浙江都司這邊由于平風向寧波府駐軍發了公文，要求他們對海漢人的暴力行徑有所反應，但身處一線的寧波駐軍已經知道海漢軍武力了得，并非普通的海盜武裝，而是貨真價實的一支軍隊，哪肯輕易出海給對方送菜。
加之此時海漢已經在暗中設法搭上了寧波官方和軍方的路子，有白花花的銀子開道，寧波這邊的官府和駐軍對杭州發來的指令也是陽奉陰違，故意拖延，所以于平風的公文發到寧波之后，便如石沉大海一般沒了回應。而廖訓手無兵權，在此過程中更是絲毫使不上力氣，只能眼睜睜地看著海漢奪去了舟山的控制權。
舟山船幫的覆滅，對于其背后的利益集團所造成的經濟損失相當巨大，僅每年輸送到杭州府各個衙門的收益，就多達數十萬兩銀子，從中得到好處的官場中人不下百人。而廖訓、于平風、郭正這樣的既得利益者，對于海漢這幫破壞安定局面的不速之客更是恨之入骨，并不肯就此服輸。
只是之后汪加林重上舟山島，試圖在海漢組織的招商會期間制造混亂，但也還是遭到了挫敗。之后他們又鼓動了嘉興府海寧衛指揮使馬越派手下假扮海盜，派船在海上劫掠海漢商船，然而這個計劃又被對方提前識破，馬越出師未捷莫名其妙就死在了海上。廖訓等人雖然猜想此事與海漢人脫不了干系，但卻又沒有任何證據能將其與海漢聯系起來，最終只能把這口鍋扣給了并不存在的倭寇。
在經歷了兩次重大挫折之后，廖訓一伙也終于意識到自己這一方在海上并無任何優勢，除非是大規模地集中并出動華東地區的水師，這中間要費的周折可就大了。而且以海漢人的能耐，只怕這水師部隊還沒完成集結，他們就已經在舟山島上做好了迎戰的準備了。
想要以明軍部隊渡海攻打裝備大量火炮的對手，這可就有些困難了。十年前福建巡撫南宮益、總兵俞咨皋率軍攻打澎湖紅毛城，動用兵船兩百艘，兵力萬人，耗軍費十七萬兩，打了七個月才把紅毛人趕出澎湖。而這次占領舟山的海漢人，據說在南方把紅毛人馴得服服帖帖，其戰力已高到讓明軍很難望其項背了。