這件事雖然劉掌柜不說，但臉上的憂慮趙頎還是看得出來，自然是因為他們和呂家二少爺的沖突所致。
趙頎也不好解釋自己已經和慶元府知府吳潛打過一個一百萬貫的賭約，畢竟丁大全倒臺之事還子虛烏有，和吳潛葉夢鼎這種官場上的人說說沒關系，但要是大張旗鼓的宣揚丁大全要倒臺，只怕當即就會有人去京師向丁大全告狀。
丁大全什么時候倒趙頎不清楚，只是自己根據歷史記載做出的一個比較靠譜的推測，但丁大全即便是要倒臺，但在倒臺前惱羞成怒將他一指頭按死完全是不費吹灰之力。
因此趙頎絕對眼下不會和劉掌柜解釋，更不會和其他投資小龍灣的客商解釋。
接下來的兩天，楊公鎮海港開始慢慢暗中有了流言蜚語，說是小龍灣的主建方得罪了呂家，而楊公鎮和海港經營的所有商賈幾乎都知道呂家背后站著丁大全，因此許多簽約的客商都紛紛前來小龍灣打聽情況。
趙頎自然也不想隱瞞，就把呂家二少爺暗中使錢逼迫阿安休妻這件欺男霸女之事說了出來。
對于呂家二少爺的行為，自然讓許多人不恥，有人憤怒有人不屑，更多的人認為趙頎在這件事上做的有些不太考慮后果，紛紛都勸說趙頎將阿蓮交出來，不能因為一個婦人得罪呂家。
不過趙頎的態度很堅決，一口回絕了這種提議。
而趙頎的舉動頓時也讓許多客商產生了退縮情緒，開始有人提出想要退出小龍灣的投資。
對于這件事趙頎期初并沒有答應，拿出合同要求這些人必須遵守合同，同時安撫這些人自己和呂家二少爺的沖突并不會影響海港以后的建設和發展，但無論趙頎如何解釋，還是有人要求退出，其中有人威脅有人退讓，其中有十多人態度堅決，表示寧可海港按照合同扣下三成的首款也要放棄小龍灣的投資。
因為要求退出的人比較多，這些錦袍華服的大商人整天聚集在工地的售樓部吵吵嚷嚷，眾怒難平之下趙頎再三權衡之后，和劉掌柜兩人召集這些客商經過仔細磋商之后，最后還是答應了這些退款請求，而且也嚴格按照合同扣下三成首付款之后退錢收回合同。
接下來的幾天，小龍灣海港完成退款的投資客戶達到十八人，超過了一半的簽約客戶，這其中還有一些本來是還有些猶豫的商人，但看見退款的人越來越多，也按捺不住心中的驚慌跟著退款。
楊公鎮上流傳的各種小道消息越來越多，甚至還有人暗中宣稱趙頎等人得罪了宰相丁大全，除此之外，海港一些衙門的官差也前來小龍灣海港進行檢查，一會兒說地契買賣不合規矩，一會兒說海港規劃不符合朝廷規制，甚至還有鄞縣縣衙的捕快前來茅灣村和小龍灣工地抓捕，說是楊大元和趙頎等人有傷人嫌疑。
而更加讓人憤怒的事，大灣村的人也開始糾結了上百人每天堵在工地門口鬧事，吵嚷著要求將海灣的地收回去，而帶頭的人就是當初賣地的豬大腸，雖然這些人都被二麻子招募的一群碼頭混混強勢驅散，但帶來的后果卻越發明顯，運送建材的車馬不斷的被阻攔甚至破壞，工地的圍墻被推倒，甚至半夜還有人在工地附近縱火，就連許多在海港停靠的漁民也開始鬧事，聚集在一起沖擊修建碼頭的工人和工匠。
林林總總的跡象都表明，呂家這個龐大的家族勢力官場民間的各種力量都開始顯露出來，雖然劉掌柜也四處奔走找人試圖平息這件事，但依舊毫無起色。