蔡湘對紅豆有敵意，紅豆察覺到，平日盡可能地躲避，不與她發生沖突，各處忍讓。
越是如此，那蔡湘越是跋扈，讓身邊丫鬟亂嚼舌根，說紅豆在酒肆里便不莊重，說是賣唱，實際和客人做些勾當，沒臉沒皮，腹中胎兒究竟姓誰的，還是兩說。
這些話丫鬟仆人們議論，被李清照聽到，不許胡說，命其自己掌嘴，那丫鬟不服，辯解：“我又不是亂說，她既然做出，為何不能說？”
那是蔡湘的丫鬟，李清照管制不住，只能告知婆婆。
張氏氣的胸口喘，取藤條抽丫鬟，蔡湘出面阻擋，當眾人面質問紅豆，“你敢對天發誓，腹中胎兒一定是官人所有？”
紅豆淚水漣漣，哭道，“奴只有過官人一個男人。”
蔡湘罵道：“荒唐下賤，似你這般長相，官人瞎了眼會看上你？且去外面走一遭，可有幾個男人能喜歡？還不是見官人仁慈，便編了謊言來哄他。”
紅豆被罵的哭，張氏氣的渾身抖，命令蔡湘住口，蔡湘不聽，氣的張氏舉藤條要打她，蔡湘立時惱怒，挺著肚皮，“便朝這里來吧，將官人唯一的骨肉打了去，我也省的煩心，沒了也好，一了百了。”
張氏氣的跺腳，遇到這樣的刁蠻潑婦，根本無法處理。
紅豆也不知道自己哪里得罪她，只是個哭，見老夫人為難，自行回房。
也是巧，元豐又來請紅豆回家小住，蔡湘有氣，也不推脫，便跟了元豐回去蔡家。
蔡湘走后，張氏安慰紅豆，當李清照面說，“我的兒子我知道，他不會亂說，他親口告訴我，你是她的女人，腹中胎兒也是他的，便絕不會錯。你只管安心休養，其他事情我來處理。”
又對李清照商議，如今家庭收入低，那些丫鬟奴仆，該遣散的就遣散了。這便是嫌棄蔡湘的仆人太多，架子太大，要殺她的威風。
李清照曉得，蔡湘離去只帶了一個貼身丫鬟秋香，其他都留在侯府，便召集了來，每人發了五貫，讓他們自行離開。
丫鬟仆人們痛哭流涕，不愿意走，李清照心狠，端是不留，哭了一場，幾個人收拾包袱離去。
至此，家里男人只剩下門房和馬夫，丫鬟只有一個翠蓮，清靜了不少。無論做飯還是家務，老夫人張氏都會幫手，李清照見狀也不敢閑著，做些力所能及的事。
蔡湘回家第二日就得到消息，自己的丫鬟仆人都被遣散，又尋到蔡府，氣的跳腳，說婆婆欺人太甚。
元豐適時進言，“既然如此，便不回去了，相爺說過，想住多久都行。”
蔡湘也是氣頭上，讓元豐去送話，既然婆婆如此不看中湘兒，湘兒便不去惹婆婆心煩，就讓湘兒孤老在別人家吧。
嫁出去的女兒潑出去的水，那是趙家人，怎么能住在蔡家？張氏當初孤身一人帶孩子，寧愿要飯也不愿意回舅舅家，要的就是個氣節。現在蔡湘這般怎么行，讓李清照代表自己去請。
蔡湘便說：“那個家里，有她沒我，有我沒她，你知道我說的誰。”