王恢自思自己的軍隊敵不過匈奴大軍只好退還，韓安國等率領大軍分駐馬邑境內埋伏，但好幾天不見動靜，遂改變原先的作戰方案，率軍出擊，結果一無所獲。
而“馬邑之圍”失敗的后果影響深遠，漢武帝以王恢提出戰爭卻臨陣脫逃，將王恢下獄，廷尉判處王恢畏敵觀望死刑。
王恢雖買通田蚡通過漢武帝的母親王太后求情，但仍無法平息漢武帝的憤怒，王恢被迫自殺謝罪。
“馬邑之圍”之后，匈奴拒絕與西漢朝和親，在邊境攔路劫掠，或者出兵四處襲擊漢朝邊郡，以報復馬邑之圍，數量多的數不過來。
“馬邑之圍”雖未成功，但卻使漢朝結束了自西漢初年以來奉行的屈辱的“和親”政策，同時也拉開了漢匈大規模戰爭的序幕。
公元188年三月，并州刺史張懿在抵御胡人的進攻時戰敗被殺，繼任為并州刺史的丁原因為張遼武力過人，召其為從事，命他帶兵趕赴京城，去接受大將軍何進的領導。
大將軍何進又派遣張遼前往河北募兵，張遼在河北共募得千余人，然后，返還京城向何進復命，但此時的何進已被宦官所殺。
憤怒的將士們攻殺宦官，幸存的宦官劫持漢少帝，最終董卓立下了救駕的大功，回京后便掌握朝中大權。
由于何進已死，張遼作為大將軍何進的直屬部下之一，便統兵從屬于董卓，后來董卓敗亡，張遼統兵從屬于呂布，遷任騎都尉。
張遼雖然“以兵屬呂布”，但他以北地太守或魯相名義，在呂布軍中仍保持相對的獨立地位。
不久，李傕、郭汜、樊稠等人攻打長安，擊敗呂布，北地太守張遼跟從呂布向東奔逃，漂泊輾轉于關中、荊州、豫州、司州、并州、冀州、兗州，在兗州鏖戰曹操之后，又前往徐州。
真正讓張遼揚名的主要是兩件大事，一是隨曹操大破烏桓，二是逍遙津“八百破十萬”。
公元207年，曹操要征討在柳城的袁尚、袁熙與烏桓，張遼隨大軍出征，八月曹操帶領先鋒部隊登上白狼山，突然與敵兵遭遇。
敵人的數量很多，當時，曹操軍隊的主力重兵還在后方，尚未到達前線，而曹操身邊只有少量的軍隊。
曹軍將士們希望等待后續部隊，并對當前的危險局面都感到恐懼，在“左右皆懼”的曹軍氛圍中，張遼力排眾議，反對畏敵不前，極力勸說曹操應當趁著胡虜的陣勢不整，立刻進行交戰，而不是等待后援。
張遼勸戰時的語言、神態皆是壯氣奮發，曹操十分欣賞張遼的雄壯斗志，又看見烏桓的軍隊尚未排好戰斗陣形，于是采納了張遼的建議。
曹操親自將自己所持的麾，授予給張遼暫用，下令由張遼指揮先鋒部隊出戰。
張遼率軍突擊，大破烏桓軍隊，并臨陣斬殺了以“驍武”著稱的烏桓單于蹋頓。
此役雖然敵眾我寡、左右皆懼，并且，“蹋頓又驍武，邊長老皆比之冒頓”，但是，張遼極力主張迅速進攻，終于，其疾如風，虜眾大崩，胡、漢降者二十余萬。