一夜過去，城內的尼子軍并未敢冒死出城夜襲圍城的敵軍。
宇喜多直家失望之余，與諸人說道：“地利在彼，而敵軍懦不敢戰，可見其城內守將乃是無勇無謀之輩，不足為慮。且待攻城器械打造完備，即可全力攻城，我料城垣雖險，然卻不足以為其屏障，諸位若能鼓用奮迅，今夜或可於城內宴飲慶功！”
鼓勵士氣的言語雖然豪邁，但取勝卻遙遙無期。
美作軍兵營壘筑成后，全力打造云梯、飛橋等攻城器械，當晚休整一夜。
翌日，開始派兵攻打稻荷山城的墻垣。
城內的尼子軍雖然不多，但百姓兩千余人，足夠上陣守御的丁壯占了半數，再是其城內無主，再是其守備武士無勇無謀，憑借這些丁壯的數量，城內尼子軍儲備軍械的精良，再加上城墻的險要。
宇喜多直家同樣是連續攻打三日，死傷眾多，都不能破城，眼見到得約定時間，內應卻仍舊不見蹤影，諸人皆面露難色，退縮之意不言自明。
宇喜多直家召原田貞佐、長船貞親、馬場職家等人到其帳內，面色陰沉，大發雷霆，拍案怒喝道：“不過數百於尼子軍據守的山城，我等近四千兵馬，以十倍之兵，圍攻累日無法克破！來日回見刑部少輔，諸將問及此戰經過，吾等如何回復作答？若傳揚出去，你我還有何臉面立於吉備？傳我軍令：明日全軍再攻，敢有退者，立斬不赦！長亭聞國秀公有斬將催陣之法，我亦可行之！先登城內者，一番槍功，盡取繳獲重賞之！”
原田貞佐本想道，自己等人并不受宇喜多直家節制，他才是軍中的陣將，但看到營帳內外，皆是兒玉黨內的按刀在手，殺氣騰騰兵卒，頓時識趣地閉口不言。
馬場職家、岸本惣次郎在內的諸多武士，頭次見得這位速來和善的兒玉黨総領勃然大怒，頓覺惶恐難安，又受到賞賜激勵，同時俱皆奮勇，在兒玉黨三將的帶領下，大聲應諾。
第四日，除去留下監鎮的三百人的本陣，作為殿軍之外，其余兵馬，宇喜多直家進入驅趕上陣，
以原田貞佐隊為首的一千五百兵馬，圍攻稻荷山城的東側貫手門；以兒玉黨為首的一千二百眾，圍攻西側石戶門，兩面齊攻，以絕對的人數優勢，來壓倒城內因兵力而捉衿見肘的尼子軍。
埋鍋飽餐戰飯，昨日因為怯戰潰逃的百名逃兵，被當眾押解至兩軍陣前，十人擇一，盡數斬首，余者割去發髻，單獨編入死兵隊突陣，今日城砦不克，戰后無發髻逃兵者，如無殺敵首級，仍舊要被處死。
看得原田貞佐等人，無不是心驚膽顫，原本督戰之言不少人還以為只是恐嚇虛辭，見得真的拔刀殺人，當即噤若寒蟬。
辰時已至，本陣立刻催動進兵的太鼓與法螺號。
一時，偌大的山谷眾，太鼓之聲，響遏行云，城墻上下美作軍與尼子軍兵卒的廝殺，吶喊之聲，震動山石，敵我矢石如雨，觸目所見，稻荷山城兩座城門方向的墻垣上，悉是蟻附攀攻的美作軍兵卒。
強攻至下午，急雨墜地。然雖是下雨，宇喜多直家仍不肯停下攻勢，反倒加緊擂鼓催陣。
原田貞佐、等美作豪族畏懼他嚴苛的軍法，只得繼續冒雨率領本隊兵卒，繼續猛攻不止。
強攻整整一日，在宇喜多直家的嚴厲督戰下，比之前三天，取得了很大的進展。兒玉黨主攻的西側石戶門處，大門被沖樁強行撞開，可惜當時天色已晚，大雨不斷，力攻多次不入，只得倉促退兵。