能勢賴豐率領的千人，皆是家中從海島上拉起的精銳，各個身經百戰，身手非同小可。他伺機半日，覷見機宜，在城北雙方酣戰至最高峰時，迂回橫沖上野軍。
側翼橫沖，本就是合戰中最有效的破敵手段之一。上野軍苦戰多日，軍勢疲累不堪，陣列趨于渙散，且毫不知情敵軍伏兵何在，沒能提前做好防備。
能勢賴豐能征善戰，先行幫助自己兒子能勢賴吉解圍，將斷后的贊岐兵擊潰，長尾大隅當場討死，而后兩邊合兵一處，自北往南，與圍攻的兒玉黨摧枯拉朽一般擊潰了上野軍。
上野高秀無奈，只能領兵拼死往下津井城門口拼殺，細川賴綱打開城門想要接應，一直帶兵等候許久的能勢賴房，趁機暴起發難，奪占城門，接引后方殺來的兒玉黨入城。
城門失陷，縱然一開始城內守軍拼死抵抗，但等兒玉黨大軍抄掠而至，豎起長梯對城墻一并發起圍攻的時候，城內的守軍立時潰如山崩。
上野高秀等人往御館方向逃竄，還想負隅頑抗，結果迎面撞上一隊兒玉黨兵卒，稍稍抵抗一陣，左右部眾就再次潰逃殆盡，為敵所執。
正應后人為《平家物語》所題詩贊：傳聞一戰平氏愁，兩軍強兵過未休。誰道藤戶總無事，近來長共血爭流。
是役，上野軍當場戰死三百余人，潰逃中又被搜殺數百，反倒是下津井城內原本的守軍，見大勢已去后全都識相的棄兵投降，沒有太多死傷。
宇喜多直家大勝過后倒也不急著入城，當下派人傳令給花房正幸傳令，命他火速進兵，收取常山城為首的各地。
俘虜一個不殺，捆好后裝船，遣派兵馬押送，將老弱篩選出來，先帶回經山城。合并上次抓捕的兩千於俘虜一起，選出精悍數百人，別立一勢手隊，調派此戰中有功的武士過去充任奉公人，其他的拆分打散后，劃分為三個莊園的勞役，在都宇郡內開墾耕種。
兒島郡附近海島上，穢多非人這類部落賤民，也有不少，此回前來助戰的倭寇，大多出身于此，正好招其入郡為民，許其田畝屋舍，只要繳納滿五年的賦稅，一概脫去賤役，重錄良民戶籍，。
如此作為，正好可以填補遭到擄掠而走的人口損耗，除了恢復耕桑外，也能增強兒玉黨對這處新奪郡領的控制力度。
送走了俘虜，在城外就地掩埋死者，讓隨軍的陰陽師和僧眾簡單超度一番，宇喜多直家這才將兒島直光和鶴松丸這兩位幾乎無人記得的傀儡請回，打起上野家的旗號，緩緩入城。
下津井城不小，又是瀨戶內海重要的貿易港口，比經山城那座內地關城繁華得多，單是城下町就占地頗廣，算上津湊的話一共是四處宿場，町戶兩千於，算上來此討生活的船夫苦力，人口不下四千人。
只是此時街道上空蕩蕩的，滿城沒有半個生人。早先破城的兒玉黨兵卒，少不得順手牽羊，沿街店鋪大都翻箱倒柜，被搶了個干干凈凈。
很多人家門戶大開，被亂兵們借著搜查敗亡的借口，搶掠一空，走到近處往里看，劫后余生的町民驚恐的躲在角落里，不時聽見受辱女子的低聲啜泣。
還是那句老話，水至清則無魚，人至察則無徒。宇喜多直家故意入城稍晚一些，原因之一，就是在給破城的軍勢一點搶掠的時間。