還有一些亂兵，比如劉光世手下一個叫靳賽的軍官，當日趙構在揚州，聽說金兵攻占了泗州，讓劉光世派兵御敵，結果這些兵都沒到地方，就自行潰散了。靳賽就是其中一個帶兵潰散的軍官，聚攏了一些潰兵，甚至打算攻占揚州，被李慢侯派兵擊退后，開始在通州、泰州一帶劫掠，正在準備攻占通州的時候，收到了劉光世平定苗劉之亂，升官進爵的消息，劉光世派人來招他，他立刻放棄攻打通州的計劃，重新去投奔劉光世。
像靳賽這種，對揚州圖謀的流寇數不勝數。就像當初金兵對揚州虎視眈眈一樣，周邊皆殘破，唯有揚州富庶，如一盞明燈一樣，在淮南的殘酷煉獄中，吸引著一個又一個好漢。而且這里還有一個公主，能搶了做壓寨夫人，這輩子都值了。
雖然來一個死一個，來一雙死一雙，可小股土匪依然前仆后繼的前來劫掠，這倒給揚州新軍提供了一個練兵的機會。整整一個夏天，李慢侯命李忠帶領一萬浙東新兵，四處剿匪。這一萬多人，既經過了嚴格訓練，又有了實戰經驗，很快就成長起來。
只是他們的實戰經驗，沒什么含金量，對付流寇容易，對付金兵很難。現在大部分人還停留在牽馬步兵的水平，連騎馬行軍都不行，但一人配一匹川馬，一頭騾子，足以追的土匪上天無路入地無門，紛紛投降。
對于投降的土匪，李慢侯已經沒有以前那么耐心了。將其中的大小頭領全部斬殺，普通嘍啰，會騎馬的，充探馬軍，有家室的，安排務農，無家室的，雇傭做工，一時間，剿匪竟成了揚州地區遷入人口的第三種形式，先后安置了十萬流寇在揚州各地。
同時這些小股流寇，無頭蒼蠅一樣從各個方向滲透揚州地區，也讓李慢侯大大提升了應對這種機動性入侵的經驗，原本用來防備金兵的一些設施，成了防御流寇的工具，西邊的白塔鎮、東邊的宜陵鎮，北邊的銅城鎮都駐守了輕騎，作為預警。并且日常撒開探馬，已經建立了可以不讓任何流寇進入揚州境內搞破壞的預警機制。這種機制，肯定也能用來預警金兵南下。
做這些事情，占用了李慢侯很大的精力，讓他沒辦法親臨第一線直接指揮剿匪，只能坐鎮揚州，指揮四面八方的戰斗。
一直到八月，已經沒有小股流寇敢貿然闖入揚州范圍，大股流寇往往很精明，否則他們的首領也不可能發展壯大，他們很少直接跟揚州沖突，知道揚州不好惹，有一支可以跟金兵死戰的強軍。只有那些從遙遠地方逃來，對本地情況一無所知的小股流寇，才會不顧一切的沖向任何富庶地區。
這些巨寇不來惹李慢侯，李慢侯卻對他們不放心，因為金兵南下的消息已經再次傳來。
六月，金軍再次金軍河北，開始攻打已經不知道被他們攻下過幾次的河北、山東州縣，磁州被圍攻之下，城里糧價暴漲，鬧起饑荒。軍卒楊再興等人作亂，殺了守臣趙子節，推將官蘇珪為首領。蘇珪要他們答應三件事，第一件說要帶軍民突圍去東京，眾人都說不行，第二件說要大家死戰，眾人說不行，第三件說開門投降，眾人沉默應對。蘇珪于是帶眾人投降。金兵解圍，送米面入城，糧價跌了數十倍。
楊再興竟然會投降？讓李慢侯非常感慨。最上層是趙構這樣沒有威望的皇帝，最下層連楊再興這樣的猛人都失去了勇氣，持續敗壞的局面，并沒有因為他的到來，而稍有改善。
六七月間，一直傳來金軍在河北、山東攻城略地的消息。周邊又都是一些靠不住的巨寇盤踞，李慢侯覺得這些都是不安定因素。這些人因為揚州軍隊的積極反擊不敢入境，一旦金兵南下，揚州軍隊被牽制在重要城池，他們一定會肆無忌憚的進入揚州劫掠。