在索靖率軍襲擾叛軍糧道之際，劉羨并未隨軍出征，而是坐鎮泥陽，緊鑼密鼓地修繕城池。
雖然劉羨此前在六陌之戰小勝了齊萬年一手，但劉羨心中明白，那不過是有心算無心。真正論對戰爭的理解，如今的自己恐怕仍不如對方。至少齊萬年在乳峰之戰的謀畫，就是自己難以達到的。因此，劉羨并不敢抱有絲毫齊萬年不來攻城的僥幸，他必須以最高的警惕來對待。
因此，在索靖等騎軍出擊之時，他親自督工，領著上萬名民夫改建泥陽城。
首先是將城池內外尚不堅實處拆掉重建，改建的材料是混合著河泥與石灰的三合土，再澆上水與糖漿，包裹上青磚。石灰遇水會蒸發出熱量，騰騰白煙，因此在當時，這種筑城法又叫做蒸土筑城法，在春風中冷卻下來后，城墻凝結如鐵，拿鑿子也很難鑿進去。
而后他在城外大肆挖掘壕溝，原本就有的七尺壕溝，被他加深至一丈四尺，多挖了近一倍。然后在深溝左右還設有陷阱，或是把竹子削尖了埋進去，還在上面涂抹上人或動物的糞便，能夠讓人感染，或是灑下一些涂了色的鐵蒺藜，在暗無天日的壕溝下，根本無法防御。
與此同時，劉羨也消滅了泥陽城外周遭五里內所有的樹林與建筑，包括民房在內，能砍就砍，不能砍就燒。百姓們全部遷移到夏陽去。等到一月過后，泥陽城外可謂是寸草不生，而劉羨也提前在城墻上蓋起了木樓與木棚，四丈高的城墻，像是平地崛起一般長了兩丈。
除此之外，劉羨還做了諸多準備。他鼓勵麾下的農民臨時去種一些萊菔、菘菜、菠菜等收成期短的蔬菜，又收集北地郡周遭的桑葚，曬成桑葚干，派獵隊去山中游獵。總而言之，竭盡一切手段來盡可能囤積糧食，為接下來可能發生的圍城戰來做準備。
可即使如此，齊萬年解圍前來攻打北地的速度，仍然超過了劉羨的想象。
在劉羨看來，占據長安的誘惑實在太大了，如果是自己，寧愿冒著損失過半的危險，也要強攻拿下。所以劉羨保守估計，齊萬年可能會稍作嘗試，進展不順利的情況下再退回渭北，到那時他稍作休整，再攻打北地，估計已經是五月份中旬。
結果齊萬年僅僅是在第二次糧道遇襲后，竟然連一次攻打長安的嘗試也沒有，直接放棄了攻城，轉而調轉大軍來封鎖北地，這時才不過是三月下旬，連春天都還沒有過去。劉羨鼓勵百姓們做的農作物，也才剛收了一次而已。
九萬大軍簡直如潮水一般涌入北地郡內，當先頭部隊抵達富平的時候，后方的部隊黑壓壓仿佛烏云，在南面首尾相接多達二十余里。北地的百姓們看到胡人的旗幟，心中就好似飛來了一座大山。劉羨早叫他們不必死守，于是這些人紛紛四散而逃，惶恐的樣子簡直像是喪家之犬，惹來叛軍士卒們一陣嘲笑。
等到大軍抵達富平城的時候，富平城也早已是一座空城，里面所有的壯丁早就被劉羨所遷走了。但士卒們的表現卻是比較輕松，在他們看來，這是敵方畏懼自己的表現。
可齊萬年在得知這個消息后，心情卻難免陰沉，他也反應過來，晉軍退讓得越干脆利落，就說明他們防御的決心極為堅決，防御的準備也較為周全，這次的攻城戰，看來是難以輕松結束了。
而等他們繼續行軍，遠遠地看見一座巨堡橫空而起，屹立在土塬之上，前扼河谷，背靠崇山。其余將領也不禁勒馬心驚，相互議論道：
“真是天險之地啊！這樣一座巨城，我們當時是怎么丟掉的？”
只要是久經戰事的人，看到泥陽城的第一眼，就知道這將是一座將要吞吃人性命的深淵。直到這個時候，他們才開始有些后悔，當時竟然沒有在這里布下重兵。
不過此時說什么也晚了，劉羨能夠順利收復北地郡，本來也出乎眾人的預料之外。當時他們不夠重視犯下的錯誤，現在就只能用行動和生命來進行彌補。
而在胡人大軍開始在泥陽城下安營扎寨的同時，劉羨、索靖等人也在城墻上觀察對方的動向。