他們也主動投靠了李慢侯，而且人數并不只有一千人，而是高達一萬。因為耶律余睹案發后的五六年中，他們縱橫燕云，吸收了大量遼東流民，許多以前就是怨軍的舊部，被解散為民后，在陌生的地方生活的并不痛快，不但被本地人排擠，還要被女真人征發，這些怨軍一招呼，勾起他們心中對女真人的怨恨和亡國之痛，立刻就拿起武器，跟著反了。
一萬怨軍，拖家帶口，男女老幼加起來，高達三萬余人。老人很少，只要幾百個，而且大多還有勞動能力，不然早死了。因此這些人不算負擔，李慢侯不接納他們，他們就是一直可以自行發展的大軍，所以李慢侯也不敢不接納他們。
怨軍溯源，當然跟女真人有關，但最直接的關系，是跟渤海人高永昌有關。阿骨打起兵之后，主要在混同江流域，哪里是契丹人的薄弱區，控制力很弱。契丹人征發了大量遼東力量去鎮壓，導致遼東空虛，結果這里的渤海人高永昌起兵，建立大渤海國。內亂，導致了大量的流民，這些流民大量涌入燕云。高永昌的起兵，導致契丹人鎮壓女真起義的力量更加薄弱，因為此時需要從更遠的地方抽調資源。
結果契丹人選擇先鎮壓高永昌，高永昌卻向女真人求援，女真人半路殺出，擊敗了契丹人，之后又擊敗了高永昌，控制了東北地區。
遼國平定高永昌叛亂失敗后，將怨氣沖向半路殺出的女真人身上，天祚皇帝讓燕王耶律淳招募從遼東跑回的主要為漢人的難民，組建怨軍，希望利用他們的怨氣，收復遼東故土。
這些遼東漢人，一部分是契丹人占領燕云后遷過去的，一部分是時代居住在遼東的，由于少數民族的文化弱勢，導致東北民族換了許多，唯有漢人是從春秋戰國一直傳續下來的，所以這些遼東漢人，早就將遼東當做家鄉。將高永昌作亂、女真人反叛，視為最大的仇怨。
遷入內地，寄人籬下，遼東故土，淪入敵手，因此流亡遼東人加入怨軍十分踴躍。耶律淳很快就組建了八個營，分為前宜營、后宜營、前錦營、后錦營、乾營、顯營、乾顯大營、巖州營，共28000人，每營各設一個統帥，耶律淳后來當了皇帝，統帥就成了郭藥師。
郭藥師死后，怨軍就消失了。可是怨軍的編制可以消失，怨軍的人卻很難全死光，其中不是被女真人屠戮了，就是逃跑了，落草為寇，嘯聚山林。對于這種小股的匪寇，其實女真人根本鎮壓不過來，太行山就是各種義軍的大本營。怨軍也以各種義軍的名義，活動在各個山區。
收編這些怨軍也有好處，那就是他們都會騎馬，燕云漢人騎馬都很多，遼東漢人更多，而且經過各種慘烈的淘汰，騎馬算是一種重要的逃生技能，不會騎馬的大多都死了。李慢侯看到，連女人都騎著馬，懷里抱著孩子，仿佛看到了一支游牧民族。顯然，他們的生活習慣胡化了，不知道是原本在遼東就已經胡化，還是在戰火洗禮下迫不得已胡化的。
收編他們之后，李慢侯跟他們的幾個首領商量，他們所求不多，給他們一塊允許他們生活的土地，以及讓他們活下去的糧食。燕云生產破壞太大，靠劫掠已經無法維持生計，不靠劫掠，他們又沒有安全的生產環境，在山區開辟的小塊土地，顯然不足以養活他們，更何況他們還有大量牲口。