他麾下的廣騎和飛騎有兩萬多人，甲胄精良戰馬強健，乃是京師中除龍武軍外的最強戰力。只是這些天子禁軍顯得桀驁了些，連他高仙芝這個副元帥都不大看得起，更別說其余邊軍和臨時招募的壯勇了。
因此東征天武軍中形成了三股分叉的繩子和一條鄙視鏈，廣騎飛騎瞧不起邊軍，邊軍瞧不起臨時招募的壯勇。高仙芝深知這些人與叛軍兩軍對敵絕不是對手，遂在武牢關修筑營寨鞏固防線。
他為了避免內部出現矛盾，將廣騎飛騎和邊軍和臨時募兵分隔開來，各自劃出防區堅守，并且到各營中訓話以激將法鼓舞士氣。能將這幫烏合之眾捏到一塊，能夠做到這個地步，高仙芝確實算得上名將了。
安祿山的三路大軍提前趕到武牢關，趁著唐軍立足未穩發動進攻，鐵騎在城關薄弱處數次沖鋒。壯勇雖畏懼強敵，但高仙芝用邊兵組成督戰隊，親自在城頭上防守督戰。兩軍一直從上午激戰到下午，田承嗣的前鋒橫海軍折損了不少兵卒，射光了所有箭矢，城墻被箭矢扎成了刺猬，卻始終難以攻克。
安祿山親自帶著嚴莊前來督戰，兩人騎著戰馬遠遠地查看武牢關的唐軍配置，嚴莊指著城頭笑道：“武牢關可破矣。”
安祿山與田承嗣詢問破關之法，嚴莊遙指城墻說道：“主公和將軍請看，高仙芝將招募兵勇、邊兵、廣騎與飛騎各管一段來守衛關口，定然是無法整合各軍矛盾。守忠將軍以為，哪一軍的防區最容易擊破？”
田承嗣對答道：“應當廣騎飛騎最強，邊軍次之，招募兵勇最弱。”
嚴莊笑道：“將軍差矣，廣騎飛騎雖然甲胄精良，兵器完備，但常年駐守京師，不習征戰，又以長安膏粱子弟居多，遠遠不如邊軍。新招募的兵勇雖弱，但高仙芝重點照顧親自督戰，算是彌補了差距。天下人不患寡而患不均，將軍不如重新調整攻勢，對邊兵和新兵佯攻，重點猛攻廣騎和飛騎，此關必破。”
安祿山高聲稱善，立刻調撥兵力開始叩關，命令高陽軍利用伏遠弩重點照顧城頭上的廣騎、飛騎，田承嗣親自帶隊猛攻，廣騎飛騎潰敗，短短一個時辰之內便攻下了關口。
高仙芝兵敗撤退，重新收羅殘兵，與叛軍再戰，敗退到洛陽城內。
十二月十二日，安祿山九路大軍匯集于洛陽城下，從四面強攻城池，攻破四門入城，縱兵燒殺搶掠。高仙芝率殘部從苑西敗退而走。
河南尹達奚珣帶領洛陽大小官員投降安祿山，只有留守李憕和御史中丞盧奕帶兵死戰。李憕對盧奕說：“我們都受朝廷恩惠，雖力不從心，但應為國戰死。”
他們收拾了數百殘兵在城中巷道中與叛軍激戰，但轉瞬間就被叛軍擊潰，各自逃散入城中。
兩人敗退后并未逃走，李憕將府中家小仆從全部遣散，獨坐在正堂中，盧奕事先把官印交給妻兒，遣他們裝扮后從小道逃往長安，自己則身穿朝服，前往御史臺靜坐等叛軍上門。
下午未時，叛軍已經全面占據洛陽，如果從高空向下俯瞰，這座千年帝都中四處燃起黑煙，叛軍在城中奸淫擄掠，燒毀房屋，百姓苦不堪言。
安祿山乘坐鐵輿從定鼎門入城，將從主干道通過洛水上的天津橋入紫薇宮城，這位大野心家的帝王之路似乎更近一步了。
他的心腹十八將騎著戰馬跟在身后，左右虞侯打著纛旗排列儀仗從前方開道，踩著堆積在道路中央的尸體，向著夢想中的洛陽宮闕前進。