此時此刻，這座豪華的宅邸還在緊鑼密鼓的施工中，鄭芝龍和他的家眷，暫且寄居在安平鎮的一處較小的宅邸內。
鄭芝龍此時正在自己的內簽押房中。元老院的盡管對此人念念不忘，但是很少有人注意到，鄭芝龍的年齡并不大：他是1604年生人，1631年的時候他才只有二十八歲。顏思齊死后他接收了顏的舊部，當時不過二十一歲。如果放在舊時空，那就是地地道道的“青年才俊”、“十大杰出青年”之類。
1631年的鄭芝龍，已經消滅了他的大多數海上對手：包括一度幾乎將他逼入絕境的李魁奇，徹底控制了對日貿易，迫使以前的雇主，海上馬車夫荷蘭人按照他的條件進行貿易。此時他坐擁威震中國海的龐大船隊，壟斷著對日本和臺灣的貿易：“日進斗金”，“富可敵國”這些詞放在他的身上毫不夸張。地地道道的大明“高富帥”。――鄭芝龍還是個眉目清秀的美男子。
他手中拿著一封文書。
文書是幾天前從臺灣回來的一艘鄭家商船帶來的。寫信的人是鄭芝龍在臺灣的代理人：郭懷一。
郭懷一的身份是臺南的漢人移民的首領。從表面看，他只是當地的移民村落油車行村的村長而已。實際上郭懷一曾經是鄭芝龍的部下，是他留在臺南的一著閑棋。
鄭芝龍的發跡和繼承顏思齊的遺產有很大的關系。而臺灣的勢力也是顏思齊留下的遺產之一。
顏思齊是當時縱橫中日海域的大海主，從事著貿易和海上掠奪。當時其手下有十個主要首領，包括楊天生、張弘、林福、林翼、李俊臣、陳衷紀和鄭芝龍等人。
顏思齊和當時很多著名的海主一樣，都以日本作為自己的主要根據地。隨著幕府的威權不斷加重，首領顏思齊未雨綢繆，考慮要在日本以外建立自己的根據地。
在中國沿海的島嶼建立根據地，可選的地方很多，但是明王朝的余威猶存，軍事力量也沒有衰落到后來那樣不堪一擊的地步，閩浙沿海等地的島嶼無法染指――雙嶼就是前車之鑒。即使是澎湖，荷蘭人幾次筑壘，幾次都被明軍驅逐，所以他們只能選擇海外的孤島――“化外之地”臺灣就這樣進入了他們的視線。
1624年顏思齊率領部下和移民前往北港，在當地建立營寨，從大陸招納漳泉移民在此拓荒墾殖。第二年九月，顏思齊在諸羅山行獵時候據說因為感冒死在當地。
顏思齊的突然死去，頗有疑點，但是不管怎么樣，年僅二十一歲的鄭芝龍繼承了顏思齊的首領位置，得到了顏思齊的大部分遺產。