吞并燕京城下將近一年，這種存在感，已經在燕云人心里成為現實。他們在最初的懷疑、驚慌和抗拒之后，開始逐漸選擇接受。
一座座城池被招降，還有一支支軍隊選擇投靠，大多數是沒什么戰斗力的簽軍，是被強征來守城的，軍州還有機會駐扎少量女真人，縣城往往只有文官帶著簽軍，沒有望風而逃，已經證明他們比趙氏豢養的文人更有骨氣，但也僅此而已，真有骨氣的，早就在抵抗女真人的時候死難了。
大多數簽軍都被遣散，他們的家鄉還需要他們恢復生氣，但一支特殊的部隊留了下來。
這只軍隊不是燕云人組成的，卻長期在燕云存在，曾經作為燕云的主力武裝，又變成了燕云人的敵人，最后變成了盜匪。
這只軍隊的名字叫做怨軍，是郭藥師在亡國后，招募流亡到燕京的遼東人組建的。
其中有漢人、奚人和渤海人，都是遼東土著，生活了不知道多少代。因為女真人滅遼，他們背井離鄉，逃亡到了燕京。
這種淪亡之人的命運是極其悲劇的，不止有遼東流亡進關內的，也有燕云流亡到宋地的。當年杜充在宋遼邊境的滄州做知州的時候，就有大量亡國遼人流亡到滄州城。后來局勢緊張，杜充僅僅因為擔心這些遼人中存在間諜，就讓軍隊將這些人全部屠殺了。燕云人的悲慘命運，當然要怪杜充的陰狠，可也跟他們亡國分不開關系。亡國奴，注定悲慘！
郭藥師能組建怨軍，靠的是北宋的支持。當年作為被劃入北宋的山南六州，郭藥師成為入宋遼臣，可是州縣的人口都被女真人擄走了，他要組建軍隊，其實也只能從外面征召，恰好女真人一邊到處擄人，他們境內還有大量逃人。郭藥師在宋朝豐厚財力的支持下，將這些遼東流民迅速組織起來，成為他手里的資本，不管是跟宋朝還是跟金國，都是討價還價的本錢。
一開始郭藥師也許沒想著要叛逃，所以完全是沖著女真人去的，這些遼人或許一開始逃亡的時候是因為膽怯，可一路上悲慘的亡國奴命運，激勵出了他們復仇的勇氣和對女真人的怨恨。
所以這只軍隊叫做怨軍，讓他們記住對女真人的怨恨，這只怨軍的數量，按照郭藥師的說法，高達三十萬人，不過更大的可能是郭藥師用來向宋國討要軍費的虛報。郭藥師被迫降金后，怨軍大部水分就被擠干，最后有的被女真人征發、遷移，當被耶律余睹謀反牽連的時候，郭藥師身邊就只剩下千把人的怨軍親兵。他死后，這只軍隊就嘩變了，落草為寇，成為燕云地區的一支悍匪。