進軍武岡州的這一路蕩寇軍卻并沒有如攻打新化縣的同袍們那么順利。
武岡州同樣隸屬于寶慶府，這里漢人以及苗、瑤、侗、壯以及僚等各族雜居，情況比較復雜。
清順治四年（1647年），前明桂王朱由桹在武岡州建立永歷朝，也就是后來的永歷帝，以原來的岷王府為王宮，改武岡州為奉天府。
這里同樣是山地丘陵連綿不斷，境內大大小小的河流有數百條。
鐵牛派出的進攻武岡州的這一路人馬的主將叫做吳志陽。
相比較杜毅喜歡打巧仗，吳志陽更加喜歡穩扎穩打，步步為營。
帶著隊伍進入武岡州境內沒多久，吳志陽就遇到了襲擊。
第一起襲擊發生在他們路過一座山的時候，在山下原地休息，結果從山上沖下來一群背弓跨刀的人對著他們忽然射箭。
等到吳志陽派人追趕進入山林之后，這些人卻又很快消失不見。
隨后的幾天內，這種襲擊越來越頻繁，既有突然從道路兩旁的山林里沖出來的襲擊者，也有在道路上設置各種陷阱的伏擊著。
從進入武岡州雙牌鎮開始，這種襲擊就開始頻繁發生，以至于在短短三天之內蕩寇軍就出現了三十多人的死傷。
可是偏偏吳志陽卻偏偏連對方是誰都不知道，想跟對方堂堂正正打一仗都沒有機會。這些襲擊者看起來顯然都很熟悉這附近的山林，而且襲擊的特點也往往都是一擊就走，根本不給你反擊的機會。
吳志陽快要氣炸了，但是卻又暫時無計可施。
畢竟在武岡州，他們是外來戶，人生地不熟的，對這里的情況根本就是兩眼一抹黑。
不過雖然氣惱，但是吳志陽卻沒有失去理智。他仔細分析之后得出判斷，這些襲擊者背后的主事者顯然早就知道蕩寇軍要來，而且從他們一踏入武岡州境內就被人給盯上了。
甚至吳志陽懷疑襲擊他們的勢力不止一股，否則不可能連續好幾天一路行來頻繁遇襲，否則說不通。
所以吳志陽決定退回雙牌鎮，一來雙牌鎮是進入武岡州的第一個小鎮，距離邵陽縣最近。
駐扎在雙牌鎮的話聯絡求援都更加的方便。
二來是吳志陽嚴重懷疑雙牌鎮上有人在盯著他們的行蹤，一直給背后的襲擊者通風報信，所以他要回雙牌鎮查清此事。
三來的話也可以給那些襲擊者一個假象，讓他們誤以為蕩寇軍是怕了他們襲擊，所以才會撤退。
做了決定之后，吳志陽立刻帶兵后撤，而且故意擺出一副潰敗的樣子。
果然，在他撤兵后不久，原本駐兵的附近一片林子里就出現了兩個身影，對著附近觀察了片刻后，一人對另一人道：“看來這些反賊是怕了，被我們給打跑了。不過還是要繼續跟著他們，看看他們是真的逃跑還是暫時的后退。你在這里繼續盯著，我回去稟告土司老爺。”
說話的人頭上抱著黑色的頭巾，腳下穿著草鞋，腰間別著獵刀，背上背著獵弓，一副獵戶的打扮，但是卻跟漢人的獵戶服飾差別很大。
另一人點點頭，表示自己會繼續跟著蕩寇軍。兩人又約定了聯絡信號后快速分開了。