兩人的仇隙發生于至德元年，當時顧佐兵進長安，召集重臣，共謀擁立今上，由于對楊國忠繼續主持政事堂有異見，韋見素被顧佐斥退。
失去故相李林甫關照的吉溫日子非常難過，立即抓住這個機會，對韋見素開始查劾，羅織了十多條罪名，欲圖治以重罪，向顧佐投效。韋見素一時岌岌可危，甚至有性命之憂。
可接下來發生了一系列大變，叛軍兵圍長安、崇玄署帶山飛升、顧太師回轉南吳州、天下災害頻發，再加上韋見素曾為今天子潛邸舊臣，此案不了了之，韋見素只是去了“同平章事”的職銜，其他照舊。
這下子，吉溫就尷尬了，和一部尚書成了死仇，當真是有苦說不出。好在這兩年朝廷沒有精力內斗，疲于應付各地災害，否則韋見素反手過來就能把沒有了后臺的吉溫整死。
這樣的兩戶人家做了鄰居，情況還能好得了？隔著露臺，兩人就爆發了口舌沖突，一開始還只是諷刺挖苦，但話說多了，言辭就越來越激烈、狠話越撂越多，一發而不可收拾。
如果是換作以前，哪怕是一兩個月前，絕不可能爆發如此沖突。大臣的爭斗，很少當面鑼對面鼓的擼起袖子赤膊上陣，講究的是談笑之間，政敵灰飛煙滅。可兩人都是一路驚險，狼狽逃亡南吳州，眼看著天下將崩，朝堂散架，各自心里都郁積著一股邪火，此刻再也忍耐不住，直接就打了起來。
整個過程類似于如下狀況：
“真是冤家路窄啊，我當時就應該弄死你！”
“來啊來啊，你牛逼現在就弄！”
“你真以為我不敢嗎？嘿，我這暴脾氣的！”
“試試！別特么光說不練！”
“我特么說練就練！”
“來啊來啊！”
于是韋見素縱身撲了過去，在吉溫的露臺上，兩人大打出手。好在入籍之時，就現場背誦過“不得在南吳州斗法，違者驅離”之類的八項規矩，這兩位雖然是盛怒出手，卻謹記著這條規矩，倒也算是相當不易。
斗法是沒有的，但相互抱以老拳是必須的，頓時撕扯起來。
吉溫一家占了地利之便，屬于內線作戰，兒子吉祥正當盛年，以二打一，韋見素立時吃了大虧。
但也就是片刻光景，韋倜、韋諤兩個半大小子聞訊趕到，躍入吉溫家的露臺，很快便將戰局扳了回來。
對面兩棟樓上的各戶露臺處，不斷冒出人影，還有本棟樓的上面幾層，都有人探著頭往下看，各種鼓掌喝彩之聲不絕，熱鬧非常。
兩家頭破血流，不分勝負，終于還是被樓上攀爬下來的戶部尚書劉晏和廣文館博士鄭虔給拉住，在一片“掃興”、“無趣”的吵嚷聲中，兩位大臣分別勸止住雙方，各自口苦婆心了一番。