自打那日被困床底后，牛大便開始對譚倫心懷怨恨，憑什么你可以光明正大，我就要躲躲藏藏，我牛大偏不信這個理兒。
但礙于譚倫的身份，即使牛大心懷怨恨，卻也不敢對譚倫做什么。
直到有一次，牛大賭博輸了銀子，被賭場的人打了幾棍，心里憋怒，抱著干草去馬房里喂馬，正撞見了譚倫與戴氏在那馬廄里行那不恥勾當。
牛大看見了他們，他們也看到了牛大，牛大當時就想奪路而逃，可轉念一想，是他們在行那不恥之事，我跑什么
三人愣愣地看著，后來還是戴氏耐不住羞，捂著臉先跑了。
譚倫正在興頭上，被牛大撞破，又羞又怒，照臉就打了牛大兩個耳光。
牛大本就怨恨譚倫，心里又積了怒，如今被譚倫一打，怒從心中起，惡向膽邊生，張口罵道“你這沒臉的東西，連自己的嬸娘都敢偷，我怎么你了，你就打我。罷了，我告訴老爺子去，讓老爺子評評理”
譚倫一聽說要去告訴爺爺，魂都嚇沒了，忙拉住牛大哀求，又許給他五百兩銀子，說在一個月內給足。
牛大本來只是惱怒，并沒有真想去告訴譚千秋。如果真把譚倫的事揭破了，戴氏也得跟著遭殃，他自己還能落著好了這種損人不利己的事，他牛大是不做的。況且，他跟譚倫現在是一根繩上的螞蚱，不論是誰露了底，雙方都沒好處。
牛大知道，譚大公子出手向來闊綽，既然他開了口，這五百兩銀子沒跑了。
牛大越想越開心，挨了一頓打，竟然還白撿了五百兩銀子，這頓打可沒白挨。
有了這個盼頭，牛大做夢都會笑醒，可坐等右等，卻不見譚倫送銀子過來。
自那日挨打過了半個多月，譚倫終于來了，但卻不是來送銀子的，而是打他的。
當時譚倫帶了幾個惡仆，將他揪到院子里，當眾說他調戲戴氏，又偷譚家的東西，結果狠狠打了牛大一頓，直接趕出了譚家。
那幾個惡仆早就聽說戴氏頗有美姿，爭著想往蘭香小筑來，但譚家人員調動，可由不得他們。
牛大在譚家諸多下人中并不起眼，十分平庸，可偏偏就讓他近水樓臺先得了月。那些人心里又是羨慕，又是嫉妒，所以下起手來格外狠，恨不得直接打死牛大，來接替他的位置。
牛大當時被打得很慘，又加羞怒塞胸，之后就大病了一場。