張說多次推薦張九齡做集賢院學士，開元十八年，張九齡轉任桂州刺史兼嶺南道按察使攝御史中丞。
便道歸省，與家人歡聚，開元十九年春，他從桂林乘船順流巡行按察來到廣州。
開元十九年三月，張九齡被召入京，擢秘書少監，兼集賢院學士副知院事。
他奉旨代撰敕文，對御而作，不須草稿，援筆立成，深為玄宗倚重。
在他的文集中，代皇帝起草的敕文多達114篇，兩次升任他為中書侍郎。
開元二十年二月轉為工部侍郎，兼集賢院學士，八月兼知制誥，張九齡時已55歲，屢乞歸養。
玄宗對他加以重用，并不批準，只是把他弟弟張九皋、張九章就近家鄉封官，以便照顧老母。
張九皋后官至廣州都督兼五府節度經略使，張九章后官至嶺南節度使、廣州都督，都是統治嶺南的封疆大吏。
開元二十一年五月，張九齡升任檢校中書侍郎，十二月授中書侍郎同中書門下平章事兼修國史，主理朝政。
張九齡建議于河南屯田，引水種稻，遂兼河南稻田使，當時范陽節度使張守璉因為副將安祿山討伐奚、契丹失敗，捉拿護送他到京城，請求按照朝廷典章執行死刑。
張九齡奏明皇上說：“張守璉的軍令一定要執行，安祿山不應該免除死罪。”
皇上特別赦免了他，張九齡上奏說：“
安祿山狼子野心，面有謀反之相，請求皇上根據他的罪行殺掉他，希望斷絕后患。”
皇上說：“你不要因為王夷甫了解石勒這個舊例，誤害了忠誠善良的人。”
于是唐玄宗放安祿山回到藩地，張九齡為中書令時，天長節百僚上壽，多獻珍異，唯九齡進《金鏡錄》五卷，言前古興廢之道，上賞異之。
張九齡又與中書侍郎嚴挺之、尚書左丞袁仁敬、右庶子梁升卿、御史中丞盧怡結交友善，挺之等有才干，而交道終始不渝，甚為當時之所稱。
開元二十二年五月張九齡遷升中書令集賢院學士知院事修國史，
開元二十三年加封為金紫光祿大夫，累官封他為始興縣伯，食邑四百戶。
李林甫自己不學無術，因為張九齡的品行被皇帝賞識，心里非常妒忌他，于是推薦牛仙客擔任知政事，張九齡多次說不行，玄宗因此不高興。
唐玄宗被李林甫的讒言所惑，玄宗遂于開元二十四年遷九齡為尚書右丞相，免去了知政事，后來宰相每次推薦公卿時，皇上一定會問：
“節操、品質、度量能夠像張九齡嗎？”
舊例，士大夫者要把笏板插在腰帶上，然后乘馬，張九齡體弱，常派人拿著笏板，朝廷于是設立了笏囊。
笏囊的設立，從張九齡開始，罷相后不久又因他薦舉的監察御史周子諒彈劾牛仙客，觸怒玄宗，坐“舉非其人”，張九齡被貶為荊州長史。