耶律大石能在西域站穩腳跟，主要就是跟東西喀喇汗國衰弱有關。大石在可敦城積聚了幾年力量之后，依然不敢南下跟女真人爭鋒。選擇北上，進攻西北的黠嘎斯人，希望吞并黠嘎斯人擴大勢力。結果進兵很不順利在謙河（葉尼塞河）上游跟黠嘎斯人糾纏的很累，大石陷入兩難，他輸不起，一旦撤軍，就可能暴露他的虛弱，讓周邊的草原大部對他產生輕視，從而圍攻他。
于是向南通過依然忠于遼國的乃蠻人的地盤，翻過阿勒坦山（阿爾泰山），借道高昌回鶻，進入東喀喇汗國領土。此時的大石只有一萬軍隊，大多還是一些草原戰士，竟被這里的東喀喇汗國打的大敗。之前看到大石強大，對大石畢恭畢敬的高昌回鶻也來偷襲他。俘虜了耶律大石的將領撒八、迪里、突迭等人。
大石穩住兵馬，退守葉密立（額敏），在這里休養生息，收服了周邊一些突厥部落，勢力稍微恢復。接著在葉密立登基，對契丹人、漢人稱皇帝，對突厥系部落稱大汗，手里的可用之兵雖然有四萬人，都不太可靠。真正的核心，只有幾千契丹騎兵和燕云步兵。
這時候東喀喇汗國發生內亂，主要是這個國家作死。東喀喇汗國以前招募了一些契丹邊緣部落為他守邊，防備東方勢力的進攻，這些遷入西域歸附東喀喇汗國的契丹部族，有一萬六千帳。東喀喇汗國大汗擔心他們太膨脹，經常打壓他們，限制契丹戰士和家人接觸。一方面是怕他們人口繁衍太多，另一方面是控制他們的家人。這逼反了契丹人，他們直接來投靠耶律大石。
得到這些早年遷居西域的契丹部落效忠后，大石實力大增，立刻南下征服了高昌回鶻，沒有滅高昌國，讓他們繼續統治這里。不是不想滅，而是大石缺乏實際控制地方的人力，只能采取羈縻方式，讓這些屬國進貢稅賦。
接著大石繼續積蓄力量，他是一個很有耐心的人。一直在東喀喇汗國邊境游牧，等待機會。一直等了三年，打敗他的東喀喇汗國大汗阿赫馬德死了，他兒子易卜拉欣繼位，這是一個無能之人。繼位后，境內的葛邏祿和康里人趁機反叛，到處劫掠他的人口和牲口。易卜拉欣出了一個昏招，請在他邊境游牧的契丹大軍幫他平叛。耶律大石直接開進東喀喇汗國首都巴拉沙袞城，沒有進城而是在城外游牧，并給這個地方改名為虎思斡耳朵，作為契丹汗庭。
東喀喇汗國請神容易送神難，在大石保證他繼續統治，不進入巴拉沙袞城之后，易卜拉欣選擇臣服大遼。耶律大石很輕易的就得到同為游牧部族的葛邏祿和康里人的歸順，控制了東喀喇汗國。
又等了三年，穩定統治。大石向境內各大城市和部落派去官員，不是管理他們，而是監督和催收稅款。對于游牧部落，大石要求他們歸附和提供士兵；對于定居的城市居民，要求他們繳納稅賦，一戶一枚第納爾金幣，這種西域第納爾，是貴霜帝國時代流傳下來的形制，一枚金幣重八克左右，相當于兩個小平錢的重量，比流行于西亞的大食第納爾重兩倍左右。
對于宋國百姓來說，這絕對是非常沉重的稅賦，可能會讓大多數人破產，甚至富戶都支持不了。因為兩枚小平金，相當于二十幾枚小平銀，相當于二三十貫銅錢。可是對于西域那些綠洲城市居民來說，他們反而覺得很合理。后來回教史學家稱之為輕稅。在大石向這些城市保證不進城，讓他們保持自治之后，他們都愿意歸順。之所以如此，是因為黃金在西域價值較低，這里盛產金沙，阿爾泰山別名金山。另外這里的綠洲城市，位于絲綢之路上，商業繁榮，城市居民主要是商人，更能承擔賦稅。
理順了財政之后，大石開始進攻西喀喇汗國，進入河中地區，圖謀費爾干納盆地。因為大石領地里，始終缺乏大型農業基地，沒有農業支撐，他養活不起太多人口。就好像沒有燕云十六州，遼國就不可能控制草原一樣。
這次大石輕易打敗西喀喇汗國，但卻沒有乘勝追擊，因為大石不想招惹西喀喇汗國的宗主國塞爾柱帝國。于是繼續耐心控制地方，尋找西喀喇汗國的弱點，一直耐心等了四年。西喀喇汗國發生內亂，還是葛邏祿人作亂，西喀喇汗國派人向塞爾柱帝國求援。
葛邏祿人向大石歸順，塞爾柱帝國調兵十萬，前來鎮壓。