后來因不滿三好長慶放逐幕府將軍足利義輝和管領細川晴元，而被從幕府內罷黜，因而返回兒島郡。
他本就是上野氏族人，擔任幕府役職時也多出言為本家牟利，而今落魄回鄉，上野信隆自無不接納的道理，并且授予對方郡司職役，依仗其帶回來那些久經合戰的郎黨眾，來穩定郡內局勢。
只不過，隨著這兩年三好長慶屢次挫敗幕府公方的討伐軍，勢力如日中天，淡路水軍更是頻繁往兒島郡方向靠近，同鹽飽倭寇廝殺不斷，讓上野信德深為惶恐，因此生出降服之心，以來謀求自保，結果卻惹惱了心向管領細川晴元的上野高秀，故此才有了今日的殺身之禍。
宇喜多直家心念急轉，考慮可能由此會出現的種種變故，對自家是否有利可圖。雖然他眼下還在備中國，可看看目前的處境，能待多久還真不好說。
上野高秀算是個厲害人物，明顯是要比上野信徳更難對付，不過對方的幼子松鶴丸落入自家手中，倒是可以考慮一下，打著擁立對方的幼子鶴松丸之名，殺入兒島郡。
憑借此數千之眾，足可以與之分庭抗禮，而后再想辦法以大義旗號，拉攏順從的國人眾為己所用，剪除不馴豪族，奪其家業分與兒玉黨內武士，以來竊取兒島郡。
他雖不知“奇貨可居”一語，但卻明白“立國家之主，所贏無數”的道理。遠有鐮倉幕府執權北條時政，竊奪源氏天下；近則有室町幕府幾次公方廢立，管領爭權，甚至是他翁祖謀立浦上宗景，都是他可以效仿的例子。
他遲遲不敢殺入兒島郡，固然道路不通，擔憂莊為資追擊之故，更重要的則是師出無名。
無論何事，總要講究個名正言順，不然如何能夠壓服那些郡內的豪族、國人眾，武斷霸道終究只能逞一時之兇，難為郡司國主，雖然軍中一揆眾多呼他為“純友公”，但他卻不能真個去學藤原純友跑去海上當一輩子的倭寇。
他沉浸思考，忽視了帳內其他人，等戶川通安輕輕呼喊自己幾聲，這才回過神來。
略帶歉意地向兒島直光拱手一禮：“實在是民部大輔遇害的消息，有些讓人唏噓，這才有些恍惚失神，并非有意怠慢，還請叔父務要責怪。”
不看僧面看佛面，畢竟兒島直光當年救護過自己數年，而今所帶的松鶴丸對兒玉黨來說更是大大的有用。
所以想要將之勸留在軍中，雖然武力囚禁也一樣可以達到目的，但在穩固占據兒島郡以前，他還不想這么快翻臉反目，若能夠名正言順的以家宰身份把持上野家，那可謂是再好不過了。
一向來，兒島直光對這個外侄都十分喜愛，雖然雙方血緣疏遠，但在他看來卻是心思純良，是個知恩圖報之人。
更何況能夠大難逃生，還是多虧了對方的家臣相助，他不應該有所懷疑才對，可宇喜多直家方才沉凝無言的模樣，讓他覺得甚是陰厲可怖，心中頓生出猶豫離去之感。
正在他心中糾結之際，宇喜多直家開口問道：“兒島郡內擾亂，事關重大，并非我這個外人所能夠插手評論，只是逝者如斯，容我斗膽問上一句，兒島叔父下一步又該作何打算？”
“主公以去，兒島郡內上野秀高的黨羽甚多，想來時回不去了。我欲挾幼主遠投他鄉，尋一國大名出面庇護，只是尚未想好去尋那家，不知和泉守……三郎可有議計。”兒島直光思略片刻，半真半假的用言語試探道。
“叔父所言極是！”宇喜多直家點頭應道：“投奔明主，乃是事關家名存亡的大事，并非侄兒一介外人可以妄言，不過還請兒島叔父寬心，侄兒雖然現在聲勢不振，但到時不論去往何方，我必然鼎立相助。”
“這……”兒島直光又猶豫起來，他欲投奔大名，以來借力復興家名不假，可沒有想好該去哪里同樣也是真的。
他說是兒島郡司家中老臣，除了為人老實誠懇意外，實則能力亦是平平，只看他連艘逃出海外的漁船都找不到，便能夠管中窺豹，可見不一斑了。