這下子不僅劉昌祚差點氣炸了，連被指定接替劉昌祚的姚麟都憤怒得無以復加，他堅決拒絕這個任命，一頓大吵之后，涇原軍被迫退出靈州爭奪，被打發到了外圍負責防守。
高遵裕率領環慶軍攻城，但靈州城是一座堅城，城防可以與太原城媲美，對于缺少攻城器具的環慶軍來說，攻城沒有一點效果。
對于西夏方面來說，如果靈州城丟失了，都城興慶府就將不保。
因此，派出了最強大將仁多零丁來援。
在靈州城外圍，涇原軍沒有抵擋住夏軍的攻擊，同樣環慶軍就沒有抵擋就讓西夏援軍進了城。
這里面劉昌祚有沒有消極抵抗，這個誰也不清楚。
但在事后，高遵裕果然指責劉昌祚沒有抵擋住援軍，要把劉昌祚拖出去砍了。
這激起了涇原軍的憤怒，如果不是劉昌祚識大體，就出現軍隊嘩變了。
這仗已經沒法打了，敵方守城人數上升，而已方士氣低落，劉昌祚也氣得病倒了，圍城十八天沒有一點效果，還傳來糧草被截的消息。
十一月底，天寒地凍，西夏人掘開了黃河堤，宋軍被迫緊急撤軍，但還有水被淹到了，大量輜重丟棄。
高遵裕領環慶軍在前面跑，讓涇原軍斷后。
在寒冷、缺糧、冰水中撤退的涇原軍死傷慘重。
到了十二月上旬，兩支軍隊才撤回到宋境，環慶軍損失五分之一，而涇原軍減員過三分之二。
種諤的鄜延軍在十二月中旬到達白池，再也無法前進，只好撤軍。
熙河軍團從蘭州出發，東進女遮谷，在女遮谷擊敗西夏軍隊，繼續向天都山進軍。
十一月上旬，西夏集結數萬精騎，與熙河軍團在天都山腳下野戰，沒有懸念，西夏人前鋒被殲滅，只逃出了后隊。
王韶沖上天都山，把李元昊留下的皇宮燒成了白地。
但是，局部的勝利并不能挽救全局。
靈州城下失敗的消息傳到京城后，趙頊陷入深深的失望中，但仗打到這個份上，再打下去意義已經不大了，他只能下令撤軍。
五路伐夏，虎頭蛇尾。
首先是部分領軍將領的無能，如高遵裕就負有重大責任，王中正出兵竟然只要了半個月的糧草；
第二，后勤供給跟不上，對這樣重大戰役的困難估計不足，宋軍不是敗給了夏軍，而是敗給了天氣。
此次戰役中，宋軍展現了強大的野戰能力，軍隊實力已經完全超過西夏軍隊，鄜延軍攻取了米脂，熙河軍團攻取了蘭州，由于在敵境作戰，西夏損失尤其慘重。
此次宋軍雖然被迫撤出，但此戰過后，西夏軍事、國力開始走向衰落。
宋朝的軍隊撤出西夏，西夏上下松了一口氣，他們已經準備開始和宋朝進行談判，催促宋朝繼續開邊貿易。
大約半年的時間戰爭，已經讓西夏的經濟受了重挫了，西夏迫切需要宋朝的商品重新進入了。
然后，事情似乎沒有那么簡單。
西夏人發現，宋軍撤退之后的真空地帶，一夜之間出現了許多的盜匪。
西夏人以為這些盜匪好對付，派出小撥軍隊清掃，沒想到派出去的軍隊都銷聲匿跡了，有活口逃了回來，西夏軍隊才發現他們的對手沒有那么簡單。
真空地帶里出現的盜匪可不簡單，他們的設備精良，刀槍劍戟都極其精良，甲胄馬匹更是精選，兵將更是精銳中的精銳，來去如風，尋常軍隊都見不到人。
西夏人一開始還懷疑是宋朝的軍隊留下來的，但和宋朝抗議之后，發現宋朝也是一臉的懵逼。
因為盜匪同樣對宋軍動手了，他們驅逐了宋朝的軍隊，宋朝守軍本來就想走，被這些強悍的對手這么一逼迫，只好退了個干干凈凈，而宋朝認為這些人是西夏人。
宋夏雙方使節面面相覷。
不過他們都認為這是對方在撒謊，各自冷笑之后不歡而散。
對于這個話題，他們也不愿意談了，在他們看來，這不過大仗之后的殘余罷了，各自清掃就好了。