艾斯當然也不會強留，大家好聚好散，這還算好的，關鍵是有一些海賊團選擇留下表面上對艾斯畢恭畢敬，卻是卻沒想到關鍵時刻居然背后捅刀子，在白胡子海賊團根本受海賊團交戰的時候忽然倒戈，讓白胡子海賊團損失慘重。
還好關鍵時刻艾斯實力又有突破，左手白色的火焰，右手毀天滅地的震蕩之力，正面擊退了凱多，然后出手將叛徒斬殺。
處理掉了叛徒之后，白胡子海賊團勢力再次下降，也就是那個時候，黑胡子趁機崛起，收攏了一部分人成立黑胡子海賊團，開始跟白胡子海賊團對抗，本來白胡子海賊團還是占據優勢的，可是之后又發生了一件事情，對白胡子海賊團造成了巨大的打擊。
艾斯執掌了白胡子海賊團之后開始做出改變，用曾經秩序海賊團的條例約束手下人，這下可捅了馬蜂窩，要知道白胡子海賊團本來就是四皇海賊團當中最窮的一個，要是按照秩序海賊團的條例來，用不了多久恐怕就要揭不開鍋了。
趁著這個機會，黑胡子偷偷跟依附于白胡子海賊團的人聯系，又拉攏了一大批高手，讓黑胡子海賊團成為真正可以跟白胡子海賊團正面對抗的勢力，與此同時，威布爾這個自稱白胡子親兒子的家伙也來湊熱鬧，追殺白胡子海賊船的人，讓白胡子海賊團雪上加霜。
那段時間絕對是白胡子海賊團最困難的時期，還好這個時候紅軍商會伸出了援助之手，通過合作交易，對白胡子海賊團的地盤的島嶼進行考察，根據各個島嶼的真實情況制定出詳盡的發展計劃，或是住種植農作物，或者是挖掘礦物，又或者是各類特色產品，白胡子海賊團的地盤有了穩定的收入，并且越來越好，發展成正規國家那樣，白胡子海賊團成了平民的保護者，日子越過越紅火。
不過艾斯因為經歷了太多的背叛，甚至其中有生死相交的兄弟，讓他變得格外的敏感，哪怕是對親人都有些不信任。
“我知道你在擔心什么，可是完全沒必要，別人會算計你，是因為他們不知道你背后還有一只恐怖的勢力，可是我卻很清楚，雖然他嘴上說已經跟你兩清了，可是如果你真的面臨生死危機，那個人絕對不會坐視不理的。”
艾斯沉默了，他當然知道多拉格口中的那個人是誰，只是艾斯實在不想去借用那個人的力量，因為對方是因為自己死去的父親而如此照顧自己，艾斯雖然嘴上不說，可是實際上一直對自己的親生父親羅杰心有怨念，艾斯可以不在意自己和經歷的苦難，可是始終無法原諒給自己母親帶來的災難。
這時候多拉格哥的聲音再次響起，“我能夠明白你的心情，實際上作為一個父親，我并不比羅杰好多少，路飛跟你一起長大，你應該知道我同樣沒有去看過他，為了自己的事業，我一直在外拼搏惡，從來沒有盡過做父親的責任，同樣也沒有做好一個丈夫，你因為自己母親的事母親痛恨你父親，可是你又怎么知道你母親內心的幸福呢？你跟路飛，薩博一起長大，體會過兄弟之情，有老頭子的照顧，白胡子的培養，體會過長輩的慈愛，至于母愛，雖然你的母親死的早，可是你也清楚她為你付出了什么，有著常人難以企及的母愛，唯獨沒有享受過男女之間的愛情，所以你不知道當真正愛著一個人，全心全意為他付出是什么樣的心情？是何等的幸福，或許當某一天你真正愛上一個女人的時候才會明白這一點。”
艾斯聽的一頭黑線，別提有多郁悶了，剛才那話什么意思，難道是在諷刺我是單身狗嗎？