對于這支大膽北上，深入漠北，導致漠北大亂的漢軍，遼軍主帥耶律賢自然是深惡痛絕，直欲除之而后快。面對遠征軍連番的后撤，是緊追不舍，即便楊、王二將引兵西逃，仍派數千騎兵，繼續追擊，欲要全殲。同時，也遣使攜令，指示金山以東的粘八葛諸部出兵，配合進剿。
只不過，事與愿違，那個時期的漠北，動亂未已，部眾離散，部族離心，雖然耶律賢靠著遼國數十年的余威，粘合諸部，組成聯軍，擊敗了漢軍，但是，爛攤子是撂下了。耶律賢也不得不，將更多精力，放在對漠北的安撫事宜上，并不能全力追殲漢軍。
而那些粘八葛部族，對遼國的命令，也早開始陽奉陰違起來，他們并不愿意出人出馬，把部落的精壯消耗在同漢軍的作戰中。當年，為了配合遼軍遠征西域，已經吃過一次虧了，那次的結果，是肥了遼廷，折了他們這些附屬部族。
甚至于，對于迫漢軍西走，將戰火燃燒至他們的領地，很是不滿。而追擊的遼騎，也是由漠北部騎組成。烏孤山之戰，包括后續的追擊戰，這些漠北騎兵，也算是體驗過漢軍的作戰能力與作戰意志，遼軍雖然取勝了，但自身的傷亡，一點都不少。
漢軍這支窮寇，雖然狼狽西逃，但威脅仍在，一旦惹得拼命反擊，那必定又是一場血戰。而這些漠北的騎兵，也不愿與漢軍繼續消耗，因此追擊的欲望并不高。因為無利可圖，且危險不小。
再加上，當時的漠北，人心是真的亂了，散了，漢軍的襲擊，可以說把原本遼國在漠北的統治體系給徹底破壞了。
遼朝廷的威信大跌，實力損傷，而諸多部族，就難免起異心，開始對遼國統治，抱有疑問了。損失慘重的阻卜、達旦等部嗷嗷待哺，那些及時避禍，實力得到保留的部族，則想著是否有機會擴充實力。追擊的那些首領、將領，也更注意保存實力，心在自家部族的利益得失上。
多方因素共同作用之下，也就給遠征漢軍一個可鉆的空子，得到一個喘息的機會。楊業與王彥升都是久經戰陣，嗅覺靈敏的戰將，身臨其境，對于敵情的變化，感受是最為明顯的。
當察覺到身后遼軍追擊勢頭減弱之后，也有些定心，也有更有余地去思考何去何從，如何徹底擺脫危機。
按照王彥升的想法，是直接殺入，奪出一條生路來。相比之下，楊業還是要更冷靜，也更理智些。在他看來，雖然取道金山，但對當地的情勢終究不明了，粘八葛諸部的態度也不清楚，而后方追擊之勢放緩，也給他們留出更多調整的余地。
于是在楊業的建議下，遠征軍余部雖至金山，卻沒有深入當地部族的腹地，而是在保證安全距離的情況下，遣使聯系，表明借道之意。
而粘八葛部，得知漢軍西來，對于這頭受傷的猛虎，雖然戒備異常，但態度是曖昧的。當感受到漢軍的誠意之后，多少消除了一些敵意。
經過前后兩次的接觸，同東南的兩個粘八葛部落達成約定，他們讓道指路，而漢軍付出的代價，是一些鐵騎與武器，并且同他們交易得到了一些軍需物資。
在金山東麓，漢軍獲得了難得的休整時間，其后，果斷繞道，走山道小徑，轉移至金山以南。畢竟，在金山以北，同粘八葛部落的協定并不那么牢靠，漢軍不放心他們，粘八葛部族同樣擔心漢軍，干脆南越，脫離那個危險圈。
至陰山以南后，已然臨近冬季，而向南方向，隔著流沙，就是西域了，距離他們逃出生天，也不遠了。
不過，由于天氣變化，再加上對地理、西域形勢的不熟悉，他們沒有貿然南下，而是選擇就地休整，修建營地，熬過此冬再說。
從阻卜王城撤離時，尚有近四千余卒，一路逃亡，翻越金山，至南麓休整時，只有兩千五百余人。而熬過了寒冬，到如今的開寶九年春，所有余眾，只有不到兩千卒了。