六橫島在距今近百年前，也就是明嘉靖年間，福建人鄧獠從福建按察司獄中逃脫之后，勾結了彼時剛剛被大明從廣東逐出的葡萄牙人，在雙嶼水道的六橫島一側建港設立走私市場，而這個港口就被稱為雙嶼港。不過這個時候葡萄牙人參與的力度還不算太大，十幾年之后有許氏四兄弟將葡萄牙人大舉引入雙嶼港，結巢通番，并與大海盜王直勾結在一起，從日本引來倭寇進駐當地。
到1542年，明嘉靖二十一年，在雙嶼港長期居住的葡萄牙人已經達到1200人，大明之外的各國人員總數超過3000人，年貿易額超過300萬葡元。關于這個貿易額，可以用來做個簡單對比的是同時代發現了遠東航線的葡萄牙航海家達伽馬的年薪是1000葡元，而他當時已經被稱為是葡萄牙民間最為富有的人。
葡萄牙人費爾南門德斯平托fernaondesto在其著作遠游記中記述了他隨同耶穌會傳教士前往日本期間，途徑雙嶼港時的所見所聞。根據平托的記載，雙嶼港內可容納數百條海船停靠，港口由葡萄牙殖民者管理，設有市政官、法官、鎮長等政府官員職位，有完整的城市行政機構設置，并建有醫院、教堂、慈善堂等公眾設施。當時葡萄牙人不僅在這里經營對明貿易，而且還打開了對日轉口貿易的大門，這里的絕大多數貿易都是以來自日本的銀錠作為流通物來進行交換。其富庶程度，在葡萄牙人當時所擁有的遠東殖民地中堪稱第一。
但由走私貿易巨大利益而勾結在一起的中國海盜、葡萄牙殖民者和日本倭寇，在大明東部沿海地區所造成的危害也越發嚴重，外國人在當地加害大明百姓的事件時有發生。嘉靖二十七年，右副都御史朱紈出任浙江巡撫，督浙閩海防軍務，委派福建都指揮僉事盧鏜及副使魏一恭，率劉恩至、張四維、張漢等將領集結戰船480艘，水陸兩軍6000余人，圍剿雙嶼港匪巢。
連日激戰后，明軍俘獲匪首李光頭、稽天破、顧良玉等人，擊毀海盜武裝帆船數十艘，殺敵數百人。而葡萄牙人平托在著作中的記述更為驚人，稱明軍在島上處死的基督徒多達萬人，其中有八百名葡萄牙人，被毀財產總值達二百五十萬葡元。
戰后朱紈親自登島巡視，本來想駐兵戍守，但最終還是選擇了用木石沉海堵塞堵塞了雙嶼隘口，徹底廢掉了這個海盜港。此后的三個月中，朱紈指揮部隊連續征討南麂島、磐石衛等周邊區域的倭寇，平息了這一地區持續二十年的匪亂。然而朱紈的行動大大損害了當地豪紳和部分官員坐地分贓的利益，難以避免地招來了仇恨，御史陳九德、周亮等人彈劾朱紈“舉措乖方，專殺啟釁”，又彈劾盧鏜等人“黨紈擅殺，宜置于理”，稀里糊涂的嘉靖皇帝便下令追究朱紈死罪，最后朱紈含冤自殺，盧鏜等人被革職入獄，定為死罪，后來因倭寇再次猖獗而被免罪重新啟用。
這一戰之后，葡萄牙人受到重創，只得離開浙江前往福建沿海，后來又數次被驅逐，輾轉多處，最后才在澳門落腳。在此次艦隊從三亞出發之前，葡萄牙人聽聞海漢要進軍浙江，也是主動了不少資料。當然他們的目的也很明確，那就是指望著海漢在浙江拿下一塊根據地之后，能夠投桃報李，讓他們將貿易航線重新延伸到浙江。
到了萬歷后期至天啟年間，東部海防又逐漸廢弛，這一地區再次淪為了冒險者的樂園。雖然最早的雙嶼港已經因為淤塞而廢掉，但這個正對著象山港港灣出口的島嶼卻依然吸引了金主再次投資開埠建港。根據許克的描述，目前在島上一南一北，都還各有一處港口常年從事走私貿易，而這兩處港口也是分別由兩伙海盜所把控。這兩伙人或許還不算是整個舟山群島勢力最大的海盜團，但其財力肯定是最強的一檔。許克估計六橫島每年的走私交易量至少在百萬兩銀子以上，堪與以前十八芝把持的澎湖一較高下了。
當然了，要經營這么大的產業，僅僅只靠一群海盜肯定是不行的，在岸上還得有替他們安排供銷渠道的地方豪紳，為這些灰色產業庇護的官府中人。這個網絡具體會牽扯到多少人，許克也并不清楚。
“馬千戶，你有什么要補充的嗎”錢天敦對聽得目瞪口呆的馬靈問道。