愈往前，群山愈近，東西兩脈夾逼，直教人難以喘息，卻又覺天地廣闊。待行到十里處，從北方潺潺流來一條湛綠的河水，河水高過馬背，大軍難以渡河。成廉說道：“此乃晉水，亦為晉陽護城之河，往北五里，我軍可步橋過河。”
孟建一路隨軍到此處，見晉水兩岸河床干裂，溝壑縱橫，碧水湍湍而過，將大軍與晉陽擱為兩岸，不禁對劉備感慨說：“干旱連年，晉水依然清冽如許，生養兩岸數十萬百姓。天地寬闊，人渺如砂，莊周所言‘自細視大者不盡，自大視細者不明’，我今日知矣。”
劉備尚未回應，于毒便已不捺心中煩悶，策馬至劉備身側又問道：“山河如此形勢，晉陽城當真易與？”
劉備安然答說：“于帥，我等恃強凌弱，以眾欺寡，也需軍心穩定。須知天時不如地利，地利不如人和，胡人所仰，唯有地利而已。只要我軍共成一志，雖六千之眾有何懼哉？”
等組織大軍過橋之后，劉備當即依水修營，一邊令全軍休憩，一邊安排斥候夜中打探晉陽城城防布置。斥候戌時離去，卯時方才歸來，對劉備報告說道：如今晉陽城城墻上滿是火光，從呂梁山向下望去，城中殘垣遍地，依稀可見鴉雀繞飛。原是匈奴人拆了城中房屋，將梁柱門匾盡數作了柴薪，正在墻上熬制滾油。
好在先前匈奴人攻克晉陽時，已將城腳的壕坑河溝盡數填平，省去這道最費時費力的功夫，劉備只需造好云梯，便可蟻附攻城。
根據斥候所言，劉備做出如下應對：除去制作云梯沖車之外，以不易燃的杉木趕制一批木楯，又以牛皮包裹綁扎，在晉水中浸泡一夜，發放給前陣士卒。又命士卒制作火矢，如遇順風，便可萬箭齊發，引發墻上大火。
出乎意料的是，劉備還效仿須卜單于，將獨孤速可蘭的頭顱掛在漢軍旗上，交予于毒部，讓他派一支騎兵在城下來回呼嘯勸降，他往日本不會如此行事，關羽夜里對張飛說道：“晉陽真乃天下堅城，兄長心中也無把握，你明日上陣，切不可露焦躁之態，影響軍中士氣。”
次日至巳時，劉備總算準備完畢，通令全軍，向晉陽城發起第一次攻城。
守衛晉陽的乃是呼衍王呼衍于勒都。他原是東路軍副帥，在匈奴諸部中頗有賢名，又通曉漢學，圍攻晉陽時多有功勞，又率先表態忠于須卜單于，為須卜單于所重用。
須卜單于命其與呼衍部六千四百余人駐守此地。昨日乍聞有漢軍渡河晉水，人數高達四萬，部眾都驚恐不已，紛紛前來問計，只有他強作精神，斥責麾下說道：“我等反叛朝廷，南下殺人父兄，略人子女，實為不少，屠戮名士，毀壞衣冠，又為無算。如今敵我形勢，勢同水火，并是仇讎，你等前來問計，是欲獻城而降乎？”
“若我軍歸降，單于困于兩山，前亦不得，退亦求死，為漢軍所圍殺，匈奴精銳為之一空，我等亦將如斷爪狼犬矣。須知漢眾七倍于我，我等才有七千，爾等以為漢軍皆圣人耶？今我占堅城，居重地，只需諸位同心戮力，堅守待援，擊敗漢軍，獲取全勝指日可待也！”