魏明帝即位后，張郃被派遣去南方駐軍在荊州，與曹魏權臣司馬宣王攻打孫權手下的將領劉阿等人。
他們追擊吳軍到了祁口，在交戰中打敗了劉阿。
太和二年，蜀國大將諸葛亮兵出岐山大舉北犯，天水、南安、安定三郡吏民響應諸葛亮。
時任右將軍的張郃被加封特進，督領各路軍隊在街亭抵御諸葛亮手下將領馬謖。
馬謖屯軍駐扎南山，沒有下山攻城。張郃就斷絕了他取水的渠道，攻打并大敗了馬謖。
南安、天水、安定等響應諸葛亮叛變的郡地，也被張郃領兵大敗，順利平定了各郡縣。
曹叡下詔嘉獎張郃，夸他披堅甲、執利器，所攻打的地方都被攻克平定。
并加封張郃食邑一千戶，連同以前的共計四千三百戶。
司馬宣王在荊州治理水軍，打算沿著沔水進入長江去征討東吳。
張郃受命統率關中的部隊前去聽從司馬宣王的調度。抵達荊州后，碰上冬天水淺，大船不能行進，張郃就屯駐在方城。
后諸葛亮再次兵出岐山，迅猛攻打陳倉。
曹叡派驛馬召張郃到京城，還親臨河南城，設置酒宴為張郃送行。
“曹叡派遣南北軍士三萬人以及武衛、虎賁兩營護衛張郃，并感嘆等張郃到那，諸葛亮已經得到陳倉了。”
“張郃知道諸葛亮的軍隊缺少軍糧，不能久攻，于是回答自己還沒到，諸葛亮就已經撤軍了；”
“屈指一算諸葛亮的軍糧撐不到十天。于是張郃率軍晝夜兼程抵達南鄭，諸葛亮果然撤軍。”
“曹叡召張郃部隊返回京都，拜他為征西車騎將軍。”
“蜀漢后主劉禪建興九年，諸葛亮再次出兵祁山，張郃受命統領眾將領往西到略陽。”
“曹叡派司馬宣王往西駐扎在長安，督領張郃、費曜、戴陵、郭淮等人迎擊諸葛亮。”
“司馬宣王讓費曜、戴陵留下四千精兵守衛上邦，其余人全部出兵西救岐山。”
“張郃想要分兵駐扎在雍城、郿縣，司馬宣王表示前軍能獨當一面，就依張郃所言；”
“如果不能就不宜分兵。之后諸葛亮在上邦攻破了郭淮、費曜等人，在上邦之東遇見了司馬宣王的軍隊，對方固營自守，兩軍沒有交戰，諸葛亮引兵歸還。”
“司馬宣王追尋諸葛亮的蹤跡到了鹵城，張郃請戰，說亮軍遠來迎戰，請戰不得，對魏軍來說，是利在不戰，想要從長計議，”
“并且祁山要塞已經知道魏軍距離他們不遠，按照常理他們會自發地固守要塞，所以大軍可以停止前進，”
“屯駐于此，分出奇兵，繞擊亮軍的后方，不應該只前進而不敢交戰，坐失民望。”
“司馬宣王沒有聽從，只一味追尋諸葛亮，追到之后，又登山掘營，不肯與諸葛亮交戰。”
“魏軍將領賈栩、魏平數次請戰，司馬懿畏蜀如虎，令天下人恥笑。”
“同年五月，諸葛亮退守祁山，命手下王平守衛南圍。”