其實在對待關隴權貴的問題上，李建成和李淵商談過。
由于關隴權貴在起兵之初給了李淵大量錢糧人力上的支持，所以建立唐朝后，李淵給予關隴貴族的莊園土地不征稅賦的待遇，而關隴權貴在李唐王朝遇到困難時，也時不時拿出大量錢糧支援唐軍作戰，時間一久，大家便形成了默契。
就在關中之戰結束后，李建成和蕭瑀為了爭取到撤離大興的時間，親自到隋軍大營與楊侗談判，楊侗不僅給了三天時間，還與他談了許多關于關隴權貴、關東士族對于朝廷和皇權的威脅，李建成深以為然。
到了襄陽，他認為應該收回關隴權貴的種種特權，把默契捐贈換成正常繳納稅賦，但李淵生怕引發關隴權貴不滿，而導致屢屢戰敗、丟失關中的唐朝轟然坍塌，出于國基穩定來考慮，李淵繼續執行之前的默契。
李淵的考慮其實十分合理，任何一個王朝，在開國之初都不敢貿然對支持者下手，但李建成認為改得越晚困難越大，而且會在大唐形成特權群體。
李淵想著唐朝江山會慢慢擴大，人口和土地也會越來越多，這樣就不會影響朝廷稅賦收入，于是堅持自己的觀點。不料李唐疆土沒有擴大，反而不斷縮小，而巴蜀是關隴權貴的后花園，最肥沃天府之國都被關隴權貴和地方豪強占據，偏偏他們這些人個個享受免稅待遇，再加上關隴權貴和入駐巴蜀的關東士族、南方士族行使晚殺一村、翌日占領田地的殘暴一套，致使朝廷能夠征收稅賦的土地越來越少、稅賦也一年比一年少了起來。
之前，各大門閥無路可走，只能跟著李唐一路黑到底，是一榮俱榮、一損俱損的關系，所以甭管李淵要糧錢還是人口，都會大力支持，可隨著楊侗放出和解的聲音，又見到李唐茍延殘喘，前途暗淡，一個個都生怕惹得新主不滿，紛紛停止了對李唐王朝錢糧的支持，導致李唐陷入缺錢少糧的窘境，如果不解決這個問題，軍隊不戰自潰。從那時起，李淵就有了動關隴權貴的念頭，他在南陽的時候讓李元吉接手‘只眼’，其實就是在搜羅通敵罪證，在關鍵的時刻能夠逼迫關隴權貴讓步，可現在見到關隴權貴越來越放肆，加上害怕他們的軍隊，便生起了殺機，哪怕身死國滅也要搏一搏，如果能夠在隋軍攻破之前，將關隴權貴消滅干凈，完全可以效仿劉備，從容退入巴蜀，閉關鎖國，往西、往南發展。如果不行此險招，必然十死無生，
李淵這種心態其實就是有錢的時候一起吃肉，沒錢就拿屬下開刀，誰讓關隴權貴積累了百多年，一個個都富得流油，豬養肥了總歸要宰殺下鍋，李淵在私下問兩個兒子，跟問屠宰之技一模一樣。
李淵長長的吐了口悶氣，關隴權貴在軍方和地方都十分強大，尤其掌控了錢糧這個命脈，才有了和朝廷扳手腕的底氣。他緩緩的說道：“并不是我們消滅不了關隴權貴，而是大唐根基十分薄弱，如果強行消滅，代價大得我們根本承受不起。但關隴權貴始終是毒瘤，因為他們對良田的大量占有，使我們無法實行均田制和府兵制；他們對官員、武官職位的大量占有，使我們無法開科取士，而楊侗之所以成功，就在于他掌控了一切，想怎么做就怎么做，這才是隋軍屢次戰勝我們的根本原因。”
“父皇還要妥協？”李建成聞言皺眉。
“不！這一次肯定不行了。”李淵搖了搖頭，冷笑道：“關隴權貴紛紛投注楊侗，極有可能和隋軍里應外合，朕如果再妥協的話，我大唐王朝的結果和宇文氏一模一樣，都是十死無生。所以朕要先下手為強。”
宇文泰設立的‘八柱國十二將軍’其實跟草原上的部落制差不多，自它成立之日起，‘八柱國十二將軍’為代表的關隴權貴和皇權就此起彼伏的斗爭就一直沒斷過，斗倒了宇文氏、斗垮了楊氏，現在輪到李唐了，兩者之間的矛盾已經到了不可共生的地步。
李世民沉吟一會兒，拱手道：“父皇，兒臣別的不擔心，就怕軍隊出事。”
關隴權貴以軍武起家，軍權和軍隊是他們的傳家利器，就像名門士族家學一樣，家學是他們培養子弟門生，構建龐大官僚網絡的關鍵所在，放棄家學就等于放棄利益傳承，而對關隴權貴而言，放棄軍隊就等于放棄保護自己家族財富的武器，一旦失去了軍隊，他們只能任人宰割。