為了不讓兩人心生警覺，一切都必須維持原狀。
知道大嫂與義兄圖謀不軌，阿傻是抱持著怎樣的心情，安生很難想象，十四歲的失聰少年要如何承擔這一切。
然而阿呆的莊主大哥返家后，事情的發展卻急轉直下。
他接獲莊客密報，說夫人房中夜夜都有男子進出，又與大爺過從甚密，想是兩人有什么私情，莊中早已傳得沸沸湯湯，只是不敢教二少爺知曉。阿呆的莊主大哥找了妻子與義兄對質，兩人居然供認不諱。
“她嫁你之前，已是我的人啦！只是謀奪你的家產，隱忍至今。”
阿呆的莊主大哥氣瘋了，但畢竟還是愛著美麗的妻子，咬牙道：“兄弟一場，我也不為難你。過去事一筆勾消，你且離去，此后莫踏入江南一步。如不遵從，休怪我刀下無情！“
那人哈哈大笑：“你怎不問婆娘，她想跟的到底是誰！”
阿呆的大嫂說：“以我的美貌，當匹配蓋世英雄，不嫁趕車做買賣的行商。你繼承武林名門，不求發揚家業、技壓群雄，反而去干那市井營生，我深以為恥。除非你證明自己強過了大爺，否則我寧可跟他，好過跟你這個窩囊廢！”
阿呆的大哥怒道：“我好歹也是練武之人，還沒不要臉到去欺壓尋常百姓！我練了十幾年的上乘刀法，他于武功只懂些許皮毛，你說這話，莫非是要他的命？”
那人冷笑：“你莫叫莊客一擁而上，人多欺負人少，我怕甚來？”
阿呆的莊主大哥受激不過，只是一想到先祖累世俠名，斷不能壞在自己手里，堅持不答應與他決斗。那人見他如此忍得，大搖大擺帶阿呆的大嫂離開，阿呆的莊主大哥也不許憤怒的家丁莊客留難，眼睜睜看二人揚長而去。
阿呆兄弟倆嘴上雖不說，心中俱都是千刀萬剮；時日一長，阿呆的莊主大哥益發思念嬌妻，數月間好生消瘦，整個人褪去一圈皮肉。忽有一天，一名文質彬彬的書生登門求見，自稱來自“秋水亭”
“我知道這個地方，是專門讓人決斗的。”
阿呆的大哥蹙眉道：“我家世代長居此地，甚少過問江湖事。貴門專程遣使，意欲何為？”
使者說：“是這樣。有人到陽春谷秋水臺掛牌求戰，指名七天內欲與莊主一決高下，按照敝門主人定下的規矩，特來邀請莊主應戰。”
報上掛牌之人的姓名，竟是那人。
阿呆的莊主大哥道：“你回去同你們門主說，武者不與常民相斗。我一早便拒絕了此人挑釁，以后也不欲理會，請貴門勿受所托，避免困擾。”
使者說：“我明白啦。我這就回報臺內，相信莊主日后也不會再受其打擾。按照秋水亭的規矩，掛牌求戰之人，須以一件等值的物品為代價，對方若應允接戰，此物將歸秋水亭所有；如超過期限仍不能成，則退回原主，解除掛牌契約。
“而一物不能兩寄，前度約戰不成，二度掛牌時便須增加質押，以防有人以一物長期掛牌，既拖累了本門的聲譽，又無端消耗人力物力，造成雙方困擾。除非那人還能拿出更有價值的寶物抵押，否則莊主此番拒戰，秋水亭通常不會再受理那人二度掛牌。”
阿呆的莊主大哥聽得有趣，又問：“秋水亭名聲雖好，卻要如何邀人赴戰？如非必要，誰肯拿自己的身家性命開玩笑？”
使者解釋：“莊主所言極是，敝門定下規矩收取質押，為的正是這點。掛牌之人所付的代價，多用于邀請對手應戰之上，敝門非為圖利，只想做公證而已。”
“原來如此。”
阿呆的莊主大哥好奇道：“那人掛牌之時，抵押的又是什么物品？”
使者微微一笑。
“是一位極為美麗的女子，名叫周芷若。”