幾乎沒費什么口舌，劉備就和所有人取得了一致。無論如何，必須擊敗呂蒙，攻占白波谷，奪回這條通往并州的要道。他留下裴潛守聞喜，王凌守臨汾，剩下的人馬共五萬步騎全部北上，進攻白波谷。考慮到賈逵在絳邑為長數年，熟悉風土人情，劉備任命賈逵為前軍師，協助張飛軍事。
白波軍之前的統帥是郭太。郭太出身貧寒，原名郭大，因仰慕名士郭泰，改名郭太。他讀過一些書，參加過中平五年的大起義，有作戰經驗，在白波軍里算是人才，甚得白波軍將士信任。
初平元年，董卓據洛陽，關東諸侯起兵討董，白波軍也在郭太的指揮下向南進攻，董卓擔心后路，便派牛輔、賈詡占有據河東，雙方多次大戰，各有勝負。平地作戰，西涼騎兵優勢明顯，到了山地，白波軍卻占上風，牛輔雖然控制了臨汾以南，卻一直無法徹底剿滅白波軍，雙方僵持了很久。
后來郭太戰死，楊奉、韓暹等人各有部曲，誰也不服誰，白波軍不復往日聲勢，只有退守白波壘，艱苦度日。白波壘并不在干道上，離白波谷還有三五里距離，平時自耕自作，再打劫一些路過的商販作為補充，賈詡、趙昂先后執掌河東，也無力征討，雙方相安無事。
白波軍很早就和孫策有過聯系，只是當時孫策的影響不過黃河，暫時威脅不到白波軍，白波軍也沒太當回事，偶爾派人使者聯絡一下。去年孫策蕩平冀州，又傳來即將稱帝的消息，白波軍才緊張起來，商量之后，派楊奉出使建業，向孫策稱臣。
劉備包圍安邑，趙昂派人到白波壘求援時，白波軍之所以愿意出兵，并不是給趙昂面子，而是吳王。他們相信劉備不是吳王對手，河東遲早是吳國的領地，這時候再不出力，以后哪有資格討價還價。不過他們也沒有出死力的想法，得知呂蒙趕到安邑，他們就撤退了。賈逵的進攻不過是個借口罷了，真要擺開陣勢打一打，白波軍未必會輸。
呂蒙初到白波壘，在接風宴上就看出了白波諸帥的自滿，不禁暗自發笑。這群流寇，躲在山里自鳴得意，根本不知道外面的變化。看起來有幾萬人，其實就是一群烏合之眾，浪費糧食。
呂蒙心里不屑，但是話說得很客氣。當年在吳王身邊做侍從時，吳王說過一句話，他一直記在心里。出手要狠，但不要狠在臉上，臉上不僅要笑，還要笑得好看。所以他取出幾副甲胄，對韓暹等人說，擊敗劉備之后，你們的要求我們都可以滿足。不過我來得匆忙，只帶了三千副精制甲胄，無法滿足你們的全部要求，只能先裝備精銳。你們誰的部下最善戰，挑三千人出來，這些甲胄就是他們的。
看著那些精致堅實的甲胄，韓暹等人紅了眼。他們原來就不是很團結，互相之間時有競爭，如今有厚利在前，哪里還顧上得臉面。得到的甲胄越多，實力超強，立功的機會越多，將來的官爵也就越高。錯失了這一步，以后再想趕回來可就難了。本來平等平坐的大帥，以后卻要低人一等，這如何能忍？
經過三天的激烈爭奪，呂蒙挑出了三千精銳，分屬楊奉、韓暹、李樂、胡才四人。其中楊奉的兵力最多，有一千兩百多人，李樂其次，有八百多人，韓暹、胡才都少，只有四百五人。在呂蒙的建議下，挑剩下的士卒都去耕地，春耕即將開始，也需要大量的勞力。
緊接著，呂蒙率部離開白波壘，在白波谷的十二道坡附近扎營，并派龐德領韓暹、李樂向北攻取平陽、永安。