劉備想法雖好，次日也頗有成效，但隨后五日，攻城進度都止步于此，黑山軍雖然人數眾多，但攻城時的傷亡實在太大，不過幾日下來，便折損了數千人，軍帳中不時拾掇出帶血的箭頭與腐爛的殘肢，嘶聲的悲嚎與孱弱的呻吟充斥著眾人的耳廓，縱使劉備軍營與黑山軍營相隔二里，也都難以心安。
晉陽城前的鼓聲依舊隆咚不歇，鼓皮已經換過三道，擂鼓的力士已換做四班輪值，即便如此，擂鼓力士仍心力交瘁，幾日下來個個臉色蒼白，食不甘味，走幾步路就覺天旋地轉，倒地不起。
只是漢軍支撐不住，晉陽城上的胡人更是支撐不住，漢軍能在城下進行輪換，但遠少于漢軍的胡軍卻并不能休憩。前兩日，呼延卜安先前還能強撐御敵，兩日后整個人都渾渾噩噩，不知身處何處，唯覺雙目腫脹，顱中昏沉，隨時都會栽倒不醒，只有在漢軍換班之時能淺寐片刻。
好在有一名當戶立起大釜，在釜中一股腦倒入牛奶羊奶，又加入鹿角、黃芪、枸杞等藥材，晝夜不斷地熬制酪漿，供胡人飲用。飲入酪漿后，匈奴守軍熱血上涌，渾身燥熱，竟又恢復精力，漢軍攻勢不停，卻又被守軍守下三日。
當然這只能暫緩胡人現狀，雙方都心知肚明，只要時日日久，漢軍遲早能破城克勝，只是如今匈奴大軍回援，漢軍最缺的便是時間。如不能速攻破城，匈奴內外包夾，漢軍便有全軍覆沒之憂。
于是更加奮力攻城。晝攻不利，漢軍便嘗試夜攻，高順成廉趁夜色攀城，一度奪下門樓，呼衍于勒都便將冷油淋下云梯，將架好的云梯燒毀，隨即包圍門樓，劉備忙讓十來輛糧車堆滿荒草淋過涼水，停至城樓之下，夜襲漢軍躍下門樓，僥幸得活十之六七。
云梯屢次不成，漢軍又多制沖車，試圖撞壞城門。奈何晉陽城門以鐵鑄成，門閂重達八百斤，無論沖車如何沖撞城門，偌大的三丈鐵門依然巋然不動，徒勞耗費漢軍人力財力而已。
除此之外還有水攻土攻等破城之術，只是無不耗時費力，破城時間數以月計，對劉備而言皆不可取。劉備甚至不惜讓關羽在城上抓了一名匈奴俘虜，逼問他須卜單于是如何破城，答案卻是十萬大軍四面圍攻一擁而上，原太原太守蓋篤招募鄉勇，勉強守城十日后，便在夜中縋城而逃，被須卜單于抓獲斬首，晉陽城當即開城投降。
劉備關羽等人面面相覷、無言以對。
很快攻城時間就來到了第七日，劉備不得不痛苦地承認一個事實：在匈奴主力到來前，自己是不能攻下晉陽城了。他雖是令城前擂鼓照常，私下里卻是不得不與呂布于毒白繞等人商議如何撤軍。
“再戰三日，必能攻破城池，如今撤軍，如何能讓人甘心？”呂布抽刀砍地，忿然說道。
“如今撤軍，劉校尉戰前所言之晉陽財貨，我等如何得之？”于毒沉默不言，白繞在一旁皺眉坦言問道。此戰黑山軍本無意參與，只是二帥為財貨所動，方才合兵同圍，如今黑山軍死傷甚眾，除卻劉備所贈的牛羊外卻一無所得，這讓兩人極不甘心。