李淵的軍隊從太原沿汾水南下，目標直指長安。自煬帝即位以來，洛陽成為事實上的首都，因而隋末群雄的目光也都盯著從洛陽周邊到連接南北的大運河沿線，并在這一帶反復展開了激烈的爭奪。
與此相對而言，長安附近當然也有反叛勢力，但其規模都比較小，不像東方各地那樣，各種勢力強大的反隋集團相互激烈爭戰。倘若對當時的狀況從空中加以鳥瞰的話，就會發現長安附近宛如一個死角或曰真空地帶。
李淵的三萬人馬七月從太原出發，途中連續突破霍邑守將宋老生、河東守將屈突通的隋軍防線(均位于今天的山西省內)，渡過黃河進入關中(位于今天的陜西省)，到十月份終于包圍長安。
到了十一月九日，李淵發動總攻，一舉戰領了長安。在東方，李密為了攻占首都洛陽，長期以來一直疲于奔命，卻始終未能如愿，但李淵起兵不到半年卻成功地攻克了長安。攻入長安以后，李淵尊隋煬帝為太上皇，立代王楊侑為皇帝(隋恭帝)，自己成了唐王。此乃李淵邁向禪讓的第一步。
此時，隋煬帝正在江都(揚州)沉溺于酒色之中。他完全失去了對于政治的興趣，不理政務，每天聽到的只有親信虞世基的諂媚之言。
在這種情況下，一批對于煬帝不滿的大臣推舉宇文化及為首領，發動宮廷政變，縊殺了煬帝。至此，前后經歷文帝、煬帝兩代皇帝的隋王朝宣告滅亡。時為大業十四年(618)三月，若按長安方面的年號來說，則是義寧二年，煬帝享年五十歲。隋煬帝墓位于今天揚州的北郊。
接到了隋煬帝的死訊之后，李淵隨于當年五月取代隋恭帝登上皇帝寶座，改元武德。自此唐王朝宣告成立，李淵成為唐朝的第一代皇帝高祖。
由于唐朝以長安為據點，一開始便站在了號令全國的有利地位，在隋末群雄中嶄露頭角。然而，當時的前景仍然很不明朗。以唐王朝的建立為發端，群雄之間的霸權爭奪反而愈演愈烈。距離所有人都能看清楚天下統一大業終將由唐朝來完成，則還需要度過數年艱苦的歲月。
作為新政的具體表現，唐王朝做的第一件事，就是對于隋煬帝時代的否定。具體而言，就是首先廢除了煬帝時期的大業律令，重新回到文帝的開皇律令及其體制之中。即恢復“開皇故事”“開皇舊制”。
高祖李淵與正妻竇氏之間有四個兒子：長子李建成、次子李世民、三子李玄霸、四子李元吉。除了玄霸夭折以外，其余的三個兒子都參與了唐朝的創建過程。相對于平庸的父親而言，三個兒子都很能干，也可以說統一的成功很大程度上是他們的功勞。
李淵即位以后，立李建成為皇太子，封李世民為秦王，李元吉為齊王，皇太子作為皇帝的輔佐和儲君，不能輕易離開都城，元吉年齡尚幼，因此對外作戰自然以李世民為中心。
李世民是智勇雙全的武將。在唐軍進入長安以后，李世民先是擊敗了自西北來犯的薛舉及其子薛仁杲(果)的部隊；接著又對奪取了唐朝唐朝發祥地太原以后大舉南下的劉武周、宋金剛軍進行反擊，奪回了包括太原在內的山西地區。
到了武德四年(621)，唐軍與其統一全國的最大的兩個對手——洛陽的王世充，以及幾乎控制了整個河北、并且正圖謀向中央發展的竇建德形成對峙局面。
當時的局勢是，一直以來與王世充對抗的李密已經失敗，從舞臺上消失；殺掉煬帝以后北上的宇文化及的軍隊，也已經被竇建德消滅。
當李世民率領的唐軍向洛陽進軍時，竇建德聞訊馳援，率領十余萬大軍渡過黃河，在虎牢關附近與唐軍交手。
竇建德的大軍面對唐軍巧妙的戰術一籌莫展，在唐軍出其不意的攻擊之下迅速土崩瓦解，竇建德本人也成為李世民的俘虜。竇建德失敗以后，王世充一人已經無力支撐洛陽的防衛，不久也淪為李世民的階下囚。被唐朝視作最大敵人的兩大勢力就此而瓦解，唐朝控制全國局勢，幾乎成為定局。
自從唐朝建立以后，李淵次子李世民的表現非常引人注目。尤其在李世民一舉平定王世充和竇建德以后，隨著李世民的威信日益高漲，李氏兄弟之間的關系開始出現了一些微妙的變化。
通常被稱之為“山東”的整個東方地區，盡管已經被西方的唐朝勢力所制服，可是通過竇建德、劉黑闥以及李密為首的群雄所噴射出的巨大能量，已經足以使得唐朝膽戰心驚。居于這種能源爆發中心的是一些“山東”當地社會的豪門大族，以及有實力的農民們。在史書中將其稱之為“山東豪杰”。
保持山東的穩定是當時一個十分緊急的課題。因此，如何與這些山東豪杰交涉并且建立關系，不僅對于唐朝，而且也成為考驗唐政權第二代領導人的能力資質的一個大問題。無論是皇太子一方，還是秦王李世民一方都意識到了這一點。
以長安為中心的關中(關西)與洛陽以東的山東(關東)的對立或者說對比關系，長期以來一直存在于隋唐時代的背景之中，并且不時呈現于表面。唐初圍繞兄弟權力之爭的山東問題，實際上就是其中的一環，也可謂是其先聲。