1590年，利瑪竇奉范禮安之命起草一封以教宗名義致大明皇帝的信札，其中亦稱教宗西師都五世乃居住在“天竺國”的“都僧皇”，因期盼能傳“天主正教”，“推廣慈悲，普濟世人”，特遣“博雅儒僧”四出揚教，并派“德行頗優，儒文宏博”的“上僧”等四人入華，希望明帝能對此四僧“給有札牒，沿途迎送，以華其行”。經過多方努力，利瑪竇得以被派往韶州，在那兒他建立了第二個傳教駐地。
1594年，利瑪竇和中國的一名被派遣到朝鮮邊境的將軍一起，初步嘗試進入北京。但到達南京，又不得不返回駐地。1595年（萬歷二十三年）利瑪竇借口為一位北上任職官員之子治病，而獲得了去南京的機會。但是到了南京以后，利瑪竇陪同的官員對他逐漸失去了興趣，利瑪竇只好自己設法留在南京。然而這一次失敗了。他只好折返南昌，并獲得批準在此居住并建立了第三個傳教駐地。
明朝王室成員、各級官員都對地球儀、玻璃器皿、西式裝訂的書籍等禮物極感興趣，利瑪竇便在自己的住宅再一次舉行“科普”展覽，表演先進的記憶方法，出版《交友論》，并開始撰寫《天主實義》，選擇適合中國人倫理觀的西方偉人語錄加以刊行。他放棄建造教堂，公開傳教的方法，進一步用中國自古就有的“上帝”偷換“天主”概念。
利瑪竇在南昌傳教的三年，也是他的傳教策略在探索和實踐中逐步形成的過程。他與江西的官紳階層進行了密切交往和友好的對話，并在這個過程中形成了一套成功的傳教策略——“南昌傳教模式”。
1596年利瑪竇被范禮安任命為耶穌會中國教區的負責人，由利瑪竇全權負責在中國的傳教活動。并且指示利瑪竇想辦法到北京去覲見中國的皇帝，以達到在中國傳教的有力保障。而且還從澳門送去了許多準備送給中國皇帝的禮物。在南昌，利瑪竇知遇了江西巡撫陸萬垓，向他展示三棱鏡、西國記數法和鐘，并講解西方書籍的內容，他還向當地學人講解數學問題與日晷記時問題。
1596年9月22日利瑪竇在這里成功的預測了一次日食，使他很快成為了一個有名的人物。期間結交了許多儒士權貴，受當時名士章潢之邀在著名的白鹿洞書院講學交流，與分封在南昌的皇族后裔建安王和樂安王建立了友好的關系等等。
1597年，利瑪竇被任命為中國傳教的主管。
1598年6月25日利瑪竇與另一位郭居靜神父同王忠銘一起離開南昌奔赴南京。
1598年7月初，他們一行到達南京，1598年，利瑪竇首次進京是由南京禮部尚書王忠銘促成的。王忠銘是利瑪竇在韶州傳教時結識的老友，當時正要赴北京述職。
時值萬歷皇帝壽誕，王忠銘便邀請利瑪竇一同進京賀壽，利瑪竇也準備了自鳴鐘、八音琴等歐洲方物獻予皇帝。一行人由水路啟程離開南京，沿大運河北上。
1598年9月7日利瑪竇歷經兩個月后到達北京。漫長的旅途加之夏日的酷熱，使傳教士們一度病倒，而初到北京的喜悅，又令他們忘卻了旅途的艱辛。利瑪竇在札記中寫道：“這真是一樁令人欣喜的事，我們不應緘默著把它放過去；只要想想基督信仰跨過多少海洋，經過這樣長時期的接近之后，終于進入這個國度，它的使者終于進入了皇都。”然而，之后的事情遠不如利瑪竇想像中的順利。由于當時正值日本侵犯朝鮮的戰爭，整個京城戒備森嚴、氣氛緊張，人們都怕因結交洋人而惹禍上身。先是王忠銘聯系的太監拒絕將利瑪竇引入皇宮，隨后王忠銘本人也不再施以援手。
利瑪竇雖然想方設法在京周旋，但仍四處碰壁，就連昔日老友也對他避而不見。利瑪竇作為外國人無法在北京久留，而且又遇到了財政上的困難，僅住一個多月只得返回南京。雖然未能見到皇帝，但利瑪竇首次北京之行收獲頗豐。他首先證明了《馬可波羅游記》中記載的契丹就是中國，而國都“汗八里”即是北京。在旅程中，利瑪竇還與神父郭居靜一同編修了第一本中西文字典《平常問答詞意》，首次嘗試用拉丁字母為漢字注音。此外，他還完成了對《四書》的翻譯和注釋工作，這對中國文化向西方傳播起到了重要的作用。
利瑪竇于1599年2月6日在南京定居。并建立了第四個傳教駐地。
在南京居住期間，利瑪竇通過瞿太素的幫助，結交了不少名士，如南京禮部侍郎葉向高、思想家李贄、徐光啟等。當然這主要還是人們對于他的自然科學知識的傾慕。值得一提的是，在南京利瑪竇還與一位三淮和尚進行了一場辯論，在這次辯論中，利瑪竇憑借其科學性的思辨明顯占了上風。
他還在正陽門內洪武崗西崇禮街建成內地第四座天主教堂，他在城西羅寺轉灣的住址后來也成為著名的天主教堂——石鼓路天主教堂。這些活動使南京成為中國天主教史上最重要的傳教中心之一。
1600年，接受了新任務的利瑪竇開始策劃北京之行。沒過多久，他就聯系了北上任南京禮部尚書的王忠銘一起帶他去南京，而且王忠銘還表示要帶他去北京。
1600年5月18日（萬歷二十八年），利瑪竇帶著龐迪我神父和準備好獻給皇帝的禮物由南京啟程再赴北京，由于太監馬堂的訛詐和阻撓，傳教士們在天津耽擱了近半年的時間，并于1601年1月24日抵達北京。
利瑪竇一到北京，就著手整理禮物進獻皇帝。進呈自鳴鐘、圣經、《萬國圖志》、大西洋琴等禮單上開列的貢品共16件，萬歷皇帝對這些貢品興趣十足，對那些宗教圣物，萬歷皇帝既覺新奇又感敬畏，他把十字架上的耶穌稱為“活神仙”，并把圣母像送與母親慈圣太后。
對大小兩架自鳴鐘，萬歷皇帝最為喜愛，小的那架被他帶在身邊時常把玩；大的那架，被置于精美的閣樓之中，在宮內專司報時。由于自鳴鐘構造復雜，需要時常維護，傳教士們便被允許定期進宮對其進行檢修。對利瑪竇進奉的西洋琴，萬歷皇帝也備感好奇，他命利瑪竇教太監演奏。利瑪竇讓助手龐迪我教授太監，他自己則仿照宗教贊歌的形式創作了8首樂曲，并填上簡短的中文歌詞，起名《西琴八曲》。每當悠揚的琴聲在宮中回蕩時，萬歷皇帝就會想起這位來自西洋的神甫。正是這些“歐洲方物”打開了利瑪竇進入宮廷的大門，萬歷皇帝也因此對他賞識有加，允許其留居北京，深得信任。