越來越多的唐軍也跳上城頭，靈石守軍再也難以抵擋，紛紛敗撤入城。
但是李淵也付出了慘重的代價，二十萬大軍連跑帶死的，只剩下下了十二萬人左右。
“高德儒呢？”入城的李淵問道。
“退守縣衙之中。”渾身浴血的劉弘基回道。
李淵咬著牙，“給我屠了靈石！”
紅著眼睛的劉弘基等人立即轉身而出，“大將軍有令，屠靈石城，雞犬不留！”
李建成、李世民趕來阻止時，命令已經下達，處處都是為惡的‘義軍’。兄弟二人相視苦笑：屠殺令開了頭，接下來的城鎮必將誓死抵抗，仗變得不好打了！
是日，靈石城中兩萬多軍民，盡被屠光，雞犬不留。
不出李氏兄弟所料，大軍南下之際，在賈胡堡又遇到了頑強的抵抗！僵持四天之后，唐軍付出了三萬余人的代價，這才拿了下來。這一回，吃了教訓的李淵不敢再屠城了！
但更大的麻煩出現了。
由于他們耽擱了太多時間，給了大隋從容布防的時間，擺在他們面前的霍邑縣地勢艱險，扼住了南下的必經之路！守軍也不再是普通的府兵、郡兵，而是由沙場宿將宋老生帶領的兩萬禁兵。
李世民認為宋老生雖被代王信任重用，并不是他有軍功，實因他是衛玄的門生，是靠資歷熬上來的！如今衛玄已老，屈突通又威脅到了他的地位，所以，他一定急于立功來證明自己。
李淵采納了李世民的意見，利用宋老生立功心切的特點，以自己為誘餌，帶領七千精兵勸降。卻命李建成、李世民于中途設伏，只要把宋老生引出城外，便伺機奪城。
宋老生果然上當，他見招降的是李淵本人，他心中大喜，表面上答應投降，實則是整頓軍隊殺向李淵。
李淵嚇得掉頭便逃，七千軍護衛著他向北奔逃，宋老生哪里肯舍，率大軍追擊，他的兵力遠不如李淵，只有這種機會才可能使以弱勝強，但這種機會只有一次，失去了便再也沒有。
于是在霍邑城下，宋老生與李淵大戰，宋老生帶來的兩萬大軍都是有經驗大隋禁兵，久經沙場，在宋老生的帶領下以一當十，殺的李淵叫苦不迭，連連后撤。
潛伏樹林之中的李建成、李世民兄弟放過宋老生大軍，直撲霍邑。
宋老生追殺不到十里，便有士兵驚駭大喊：“宋將軍，霍邑縣城樓大火。”
宋老生一回頭，果真看到北城城樓火光沖天，濃煙滾滾，他意識到自己上當了。
兩萬隋軍調頭向城池奔去，這時李淵親率大軍趕到，揮兵掩殺而來，宋老生見軍隊已無法入城，不由大怒，喝令道：“三軍列隊，和叛軍決一死戰！”
兩支軍隊在霍邑縣北面展開了血戰，隋軍終因寡不敵眾而失利，全軍覆沒，宋老生被劉弘基率數百人包圍，宋老生誓死不降，力竭戰死。
被依為鐵壁的河東重鎮霍邑，因為衛玄的用人不當，不到半天時間就失守了。
李淵將霍邑的殘兵收入囊中，大軍又變成了十二萬人馬，對于那些不想打仗的士兵，李淵都封了他五品散官，讓他回家很快就收了這些人的軍心，就是那些離開軍隊，回到關中的士兵也說李淵仁義。
事實證明，安撫手段比屠城更讓李淵好處更多萬倍，因為他的“仁義”，在他接下來的進軍中勢如破竹，一路連克臨汾郡、龍泉郡、絳郡、文城郡，而上黨郡、長平郡只取得一部，因為聞訊的薛萬淑、楊善會先一步入境，奪下了此之二群的戰略要地。
至此，太原以南除重兵把守的河東郡、河內郡外，其余各郡絕大多數被李淵軍隊占領。
大業十三年十二月中旬，李淵派李建成、李孝恭領兵，分別與薛萬淑、楊善會交戰，而劉弘基由絳郡進軍河內，與裴仁基對峙于河內郡；親率十五萬大軍進攻河東郡。
此時，屈突通率四萬趕到河東城，又見郇王楊慶先一步率一萬驍果軍入駐，且募到了兩萬兵士，屈突通頓時信心大增。一邊布防，一邊派人向西京說明戰況。