劉備之所以陷入了困境，是因為下邳治所郯城丟了。
彼時劉備正在徐州邊境屯兵，聽到這個消息之后，五雷轟頂。
本來關羽帶軍東去廣陵抗衡孫策，劉備西去帶兵防范曹操，這兩路皆很重要，相對防守郯城的任務，就輕松多了。
劉備思慮再三，決定將這個輕松的任務交給張飛。
只要張飛不做什么過分的事情，有郯城那么多官員將領相助，只要等到劉備和關羽任何一路解除危機，回兵即可。
沒有想到，最為輕松的一處，卻出了大問題
彼時張飛帶著數百殘兵，狼狽來投劉備，說了前因后果，劉備聽了嘆道“三弟啊，這事情不是不能做，而是太急了啊。”
事情的起因，在于張飛發現郯城之內，丹陽兵派系的骨干將領曹豹有異心。
有人密告張飛，說曹豹和廣陵的孫策有書信勾結，張飛查證后發現證據確鑿，當下大怒，便要點兵將曹豹抓來。
壞就壞在張飛大張旗鼓去做這件事，導致風聲泄露，曹豹得知消息后，策動城內的丹陽兵將領，起兵和張飛相攻。
兩邊打了一日，不分勝負，曹豹卻趁機打開城門，迎來了一支誰也想不到會出現在郯城的敵軍。
孫策
他帶著千兵士突入下邳城中，趁亂攻擊張飛，將張飛打得大敗，被迫棄城逃走。
張飛跪在地，一臉羞愧道“飛對不起哥哥，把大哥全家失陷在城了”
彼時劉備有正妻及兩個女兒，應該已經為孫策所獲。
劉備心中暗嘆，事已至此，他還能說什么
而且這事情也不能全怪張飛，對方已經準備起事了，即使張飛不發現，結果也只會更差。
他只得道“兄弟如手足，妻子如衣服，衣服破，尚可縫手足斷，安可續”
“三弟不必自責，區區一個下邳，想辦法打回來便是了。”
張飛這才抬起頭來，恨恨道“那孫策奸詐，城內官員將領也不是東西”
“如今看來，支持曹豹的大有人在，不然我也不至于等孫策入城才知道”
劉備又問“城里有誰和你逃出來了”
張飛想了想，說道“孔融一家應該是沒逃出來。”
“陳群沒見到，許是在亂軍中死了”
“陳登引了一支軍助我，但我逃跑的時候沒來得及帶他。”
“糜竺好像帶人逃往海西了，也不知道能不能逃過去。”
劉備眼前一黑，除了身邊的孫乾簡雍幾人，其他人就這么被張飛送了
他的心在滴血，張飛也看出來劉備不高興了，趕緊道“哥哥，咱們也不用管曹操了，不如合兵回去，將下邳再奪回來”
劉備搖頭嘆道“對方必然早有防備，守城容易攻城難，我們這數千人怎么可能打得下來”
“而且兵士家眷多在郯城，現在人心惶惶，再回去打城，只怕人心更亂”
“我倒有個想法，趁著這機會，往東南走，繞過郯城，去廣陵邊境，去和云長會合。”