四年后，李廣以衛尉作為將軍，從雁門出擊匈奴。匈奴兵勢眾多，擊敗了李廣軍，活捉了李廣。匈奴單于一直都知道李廣的賢明，下令要活捉李廣。匈奴的騎兵活捉了李廣，把他放置在兩匹馬的中間的網上，李廣躺在網上。走了十多里，李廣假裝死去，偷偷看到旁邊有一個匈奴騎兵騎著是匹好馬，李廣突然跳上匈奴騎兵的馬，驅策著馬向南跑了數十里，與所屬部下回合，回到塞內。數百名匈奴騎兵追擊李廣，李廣用奪來的匈奴騎兵的弓箭射殺追兵，終于逃脫了。李廣回到漢朝，朝廷將李廣交給官吏處置。官吏認為李廣損失重大，又被敵人活捉，應當斬首，后來李廣贖為庶人。
鎮守邊郡
過了幾年，李廣和退隱住在藍田縣的前穎陰侯的孫子灌強常到南山中打獵。曾經在一天夜里，李廣帶著一名騎兵外出，跟別人在田間飲酒。回來到了霸陵亭，霸陵尉喝醉了，呵斥阻止李廣。李廣的從騎說：“這是前任李將軍。”霸陵尉說：“現任將軍尚且不能夜間通過，何況是前任的呢！”就讓李廣住宿在霸陵亭下。不多久，匈奴入侵遼西，殺太守，打敗韓將軍。韓將軍轉移到右北平，死了。于是皇帝任命李廣為右北平太守。李廣請求霸陵尉與他一起赴任，霸陵尉來到后李廣就殺了他，然后上書自行謝罪。李廣在右北平郡，匈奴都稱呼他為“飛將軍”，躲著李廣，數年不敢入侵。
苦戰無功
郎中令石建去世了，于是皇上征召李廣接替石建作郎中令。元朔六年，李廣又調任為將軍，跟隨大將軍衛青的軍隊從定襄郡出擊匈奴。各將領多有殺敵俘敵達到標準因功封侯的，而李廣的部隊沒有功勞。
三年后，李廣以郎中令的身份率領四千騎兵從右北平出發，博望侯張騫率領一萬騎兵和李廣同行，分兩路走。走了大約幾百里，匈奴左賢王帶領四萬騎兵包圍李廣，李廣的士兵都很恐懼，李廣就派他的兒子李敢快馬沖擊敵人。李敢獨自帶了幾十名騎兵飛奔而去，直穿匈奴騎兵的包圍圈，抄出敵軍的左右兩翼而回，報告李廣說：“匈奴人容易對付。”士兵才安定下來。李廣布成圓形陣勢，面向著四外，匈奴猛攻他們，箭下如雨。漢兵死亡的超過一半，漢軍的箭也快用完了。李廣便命令士兵把弓拉開，不要放箭，李廣親自用大黃弩弓射敵人的副將，射死了幾個，匈奴人漸漸松懈。恰巧天色黑了下來，軍官士兵都面無人色，可是李廣的神氣同平常一樣，更加精神振奮地指揮軍隊。軍中士兵很佩服他的勇氣。
第二天，繼續奮力戰斗，張騫的軍隊也到了，匈奴軍隊才解圍而去。漢軍疲乏了，不能去追擊。這時李廣幾乎全軍覆沒，只好收兵回去。按漢朝的法律，張騫耽誤了預定的日期，當處死刑，出錢贖罪，降為平民。李廣的軍功和罪責相當，沒有封賞。
后悔殺降
李廣曾和星象家王朔私下閑談說：“自漢朝攻匈奴以來，我沒一次不參加，可各部隊校尉以下軍官，才能還不如中等人，然因攻打匈奴有軍功幾十人被封侯。我不比別人差，但沒有一點功勞用來得到封地，這是什么原因，難道是我的骨相不該封侯嗎？還是本命如此呢？”王朔說：“將軍回想一下，曾有過悔恨的事嗎？”李廣說：“我任隴西太守時，羌人反叛，我誘騙他們投降有八百多人，我用欺詐手段一天把他們殺光了。直到今天我最大的悔恨只有這件事。”王朔說：“能使人受禍的事，沒有比殺死已投降的人更大的了，這也就是將軍不能封侯的原因。”