李隆基即位為玄宗，張九齡改任左拾遺，但是，張九齡與宰相姚崇的矛盾卻越來越大。
姚崇是唐玄宗所器重的大臣，執掌軍國大權，張九齡在唐玄宗上臺的第二年，就上書姚崇，提醒他“遠諂躁，進純厚”。
姚崇復書嘉納其言，在選官用人中消除過去緣親是舉的流弊，堅持以才取人，整頓吏治。
公元712年12月，玄宗于東宮舉文學士，張九齡名列前茅，授左拾遺，他曾上書唐玄宗李隆基，主張重視地方官人選，糾正重內輕外風氣，選官應重賢能，不循資歷。
然而，張九齡和姚崇意見并不總是一致，過了三年，開元四年秋，張九齡又以“封章直言，不協時宰”，招致了姚崇不滿，這年秋天，他以秩滿為辭，去官歸養。
張九齡回到嶺南，住了一年多時間，他并不閑居，而是想為家鄉辦點實事，甫到家中，便向朝廷狀請開大庾嶺路。
張九齡出入嶺南，也走過這必經之路，對大庾嶺梅關“人苦峻極”的險阻深有感受。
開元年間的唐王朝，經貞觀以來近百年的勵精圖治，社會繁榮，嶺南以沿海之利，海外貿易交通有了很大發展，廣州已成為中外海上交通門戶的大商港。
在這種情況下，開鑿梅關古道，改善南北交通顯得非常迫切，張九齡的建議得到朝廷批準，于是他自任開路主管，趁著農閑征集民夫，開始開鑿工程。
張九齡親自到現場踏勘，緣磴道，披灌叢，不辭勞苦，指揮施工，古道修通后，全長十幾公里，路寬近17米，路兩旁遍植松樹。
路修成之后，張九齡撰寫了《開鑿大庾嶺路序》，記述大庾嶺開鑿后，公私販運：
“轉輸不以告勞，高深為之失險，于是乎鐻耳貫胸之類，珠琛絕贐之人，有宿有息，如京如坻”。
由于梅關古道的修通，南北交通大為改觀，梅嶺古道成了連接南北交通的主要孔道，后人譽之為“古代的京廣線”，不僅為唐代南北交通作出巨大貢獻，而且造福子孫后代。
宋代大量移民南下，大庾嶺路對他們來說是最快捷便當的通衢大道。
張九齡居家時間，與曲江縣尉王履震、韶州王司馬來往密切，詩酒唱酬，結成知己。
開元五年夏秋之間他與王履震聯袂來到廣州，寫下《與王六履震廣州津亭曉望》詩。
開元六年春張九齡被召入京，返京時，王司馬一直送到大庾嶺上，到京后，張九齡因修大庚嶺路有功，拜左補闕，主持吏部選拔人才。
張九齡的才學與能干漸為大家所認識，吏部考試選拔人才，他與右拾遺趙冬曦四次奉命參與評定等第，都能公允服人。
開元七年，張九齡改任禮部員外郎，開元八年又升遷為司勛員外郎。
開元九年張說入拜宰相，張說對張九齡早寄以厚望，見他果然文才出眾，又和自己同姓，便與他論譜敘輩，夸獎張九齡“后出詞人之冠也”。
靠張說的賞識和提拔，張九齡提升為中書舍人內供奉，張九齡并不因為和張說關系密切而隨聲附和，他對張說的斷然行事多有勸說，體現出辦事公允和卓有預見。