在李世民接連兩撥兵馬支援下，靈石的攻堅難度，堪比清河。
卻虧得李世民現下主要的精力，被迫轉在了關中，并且劉武周在他撤回晉陽后，確是蠢蠢欲動，有欲趁李善道猛攻靈石之機，再次南犯晉陽的跡象，他亦需分兵設防，沒辦法給靈石更多的支援，由是，在又晝夜不休，攻了靈石數日后，漢軍終將靈石攻拔。
軍報傳到晉陽，李世民望之喟嘆，甚有無奈之感。
項羽曾經說過的一句話，不知為何，浮上他的心頭。
“然今卒困於此，此天之亡我，非戰之罪也”。固然，當前唐軍不論在河東、抑或在關中，都還稱不上“天亡之”，但河東的仗打到現在，李世民盡管殫精竭慮，雖收回了晉陽，可霍邑、靈石之接連失陷，原因為何？卻某種程度上來講，倒也確是項羽后邊此語：“非戰之罪”。
這不是李世民能力不足的問題，是時局的問題。
是唐軍而下所面臨的局勢，太過惡劣之故。
河東，李淵的起家之地，被兩路割據勢力聯兵攻打；關中，則薛舉、梁師都等狼顧在側，實事求是的說，能在這樣惡劣的局勢下，李世民可以將晉陽收復，已經算是了不得的成就。
李淵新近又下達了一道令旨，再次命令李世民，即刻回援關中。卻是薛舉兵出隴西以后，攻勢猛烈，劉文靜等所統的前線唐軍，力不能支，節節敗退，關中的形勢已相當嚴峻。
說實話，李世民現也是心急如焚，相比關中的情況，靈石之得失，就顯得不重要了，可李世民暫時卻還不能就還師關中。因為李善道部的漢軍，在打下靈石后，尚未有還河北之跡象。相反，李善道遣兵一部，進入離石郡，與劉季真部會合，似有繼續北進晉陽之意。
一時間，饒以李世民之英果，他不自禁的也對自己先前“李善道當是將還師河北”的這個判斷，產生了些懷疑。難道是自己料錯了？宇文化及其實沒有進攻黎陽倉？李善道在給他的信中之“改期約戰”等辭，實際是麻痹自己的詐計？如果真是如此，他可就要陷入進退兩難了！
若回師關中，晉陽必將再失，河東將不復唐再所有；可若不回師關中，長安岌岌可危。
難得的，李世民連著兩三天晚上，睡不好覺。
就在八月中旬這日，終於最新的漢軍情報送到：“李善道任劉黑闥為河東道行軍元帥，宋金剛為副，呂崇茂為其長史，留兵五千，分駐駐靈石、霍邑，另兵馬萬人，屯駐河東、絳郡；及拜劉季真為離石公、石州總管，駐守離石；其則自率主力，南向河內而返。”
李世民閱畢，一塊石頭總算落地！
乃在再遣斥候，探知李善道率主力南向河內的消息確鑿無誤之后，他遂以劉弘基為將，給兵五千，令守晉陽，防備劉武周之再犯，而統余下主力，於兩日后，回援關中。
卻也不必多說。