袁紹擔心呂布對自己不利，再次派兵追殺呂布，那些士兵都害怕他，追上了也沒有一人敢逼近。途中經過陳留，太守張邈派人迎接呂布，對他大加款待，臨分手時兩人握住對方手臂發誓結好。
興平元年（194年），曹操向東攻打陶謙，派將領武陽人陳宮駐守東郡。陳宮趁機勸說張邈：“現在天下分裂，英雄豪杰同時崛起，您擁有十萬人的隊伍，處在可以四面作戰的地方，按劍雄視天下，是可以做人中豪杰，反而被人控制，不是太卑下了嗎？現在本州的軍隊東征，其地空虛，呂布是猛士，善于作戰，英勇無敵，將他接來一同占據兗州，觀望天下形勢，等候時事的變化好轉，這可以縱橫一世。”張邈聽從陳宮的意見，就同弟弟張超和陳宮等人迎接呂布，請他當兗州牧，占據濮陽，兗州所屬郡縣一同響應。曹操知道后率領軍隊攻打呂布，濮陽大姓田氏在城里響應曹操，曹操趁機入城后，放火燒東城門，來激勵將士與呂布決一死戰。呂布則先派騎兵沖散青州兵，導致曹軍陣勢大亂，呂布手下騎將抓到曹操問他曹操在哪兒，曹操說騎黃馬的那個就是。于是呂布追擊騎黃馬的人，而放走了曹操。曹操策馬冒火突圍，燒傷了左掌。此后雙方多次交戰，相持一百多天。這時發生天旱，又有蝗蟲為害，糧食不夠，出現了人吃人。呂布將部隊移到山陽駐扎。
興平二年（195年），呂布再次從東緡出發，與陳宮率領一萬余人來進攻曹操。當時，曹操部下的士兵全都出去收割麥子了，在營中的不到一千人，難以守住營寨。曹操于是下令婦人們上城寨的矮墻守御，營中不足一千的士兵們全都在營壘邊擺出了無所畏懼的樣子。曹操營寨的西邊有一條大堤，南邊有一片茂密深廣的樹林。呂布懷疑曹操有伏兵，于是說：“曹操多詭詐，我們不要進入伏擊圈。”于是，呂布引軍屯南十余里。
第二天，呂布再次前來挑戰。曹操把自己的一半士兵埋伏在堤后，另一半的士兵暴露在堤外布下陣勢。呂布的軍隊逼近時，曹操才命輕裝部隊挑戰，等到兩軍廝殺在一起以后，伏兵才登上大堤殺出，步兵與騎兵一齊沖鋒，大破呂布的軍隊，直追到呂布的營寨才返回。呂布當夜撤退。曹操將兗州各城全部收復，呂布東逃投奔劉備。張邈到袁術那里求救，留下張超帶著家眷部屬駐守雍丘。曹操包圍張超，圍了幾個月，殺了張超和張氏三族。張邈未到壽春，就被他的士卒殺害。
徐州風云
興平二年（195年），呂布見到劉備后，對其非常尊敬，對劉備說：“我和閣下都是北疆邊境的人。我當時見關東軍起兵，想要誅殺董卓。但我殺了董卓東出，關東諸將卻沒有一個接納我，都想要殺了我。”并請劉備坐在帳中的床上，令妻妾向劉備行禮，酌酒飲食，稱劉備為賢弟。劉備見呂布語言無常，表面以為然之，但心里卻不開心。
同年七月，因李傕、郭汜的火拼，漢獻帝從長安東歸，途徑河東，下詔書令呂布迎駕。由于呂布的軍隊沒有儲備足夠的糧食，無法勤王，于是呂布派遣使者上書謝罪。朝廷任命呂布為平東將軍，封平陶侯。
建安元年（196年），袁術率軍攻打徐州，與劉備相持于盱眙、淮陰。相持一個月，雙方互有勝敗。袁術寫信給呂布，許諾送上二十萬斛大米，誘使其襲擊下邳，于是呂布水陸東下，軍隊抵達下邳西四十里時，劉備的中郎將丹楊人許耽派司馬章誑前來迎接呂布，并向呂布透露了張飛和曹豹相爭，下邳城內大亂，丹陽兵都在西白門城內等待呂布的到來，于是呂布便大舉進軍，早晨到達城下。天亮后，丹陽兵打開城門，呂布坐在城門上，指揮軍隊大破張飛，俘虜劉備的妻妾兒女及其部曲的家眷。此時，劉備為袁術所敗逃往海西，饑餓疲憊，向呂布請求投降。呂布又惱火袁術不再運糧來，就準備了車馬迎接劉備，讓劉備擔任豫州刺史，派他駐守小沛。呂布自稱為徐州牧。