于是眾人推舉張郃出任主帥，指揮士兵，布置營寨，軍心安定，不久，曹操遣使令張郃假節。
劉備欲渡漢水來攻，見魏軍在漢水以北列陣相迎，劉備于是放棄渡河，隔水相持。
曹操親自進攻漢中，不能取勝，于是撤出漢中的部隊，令張郃屯兵于陳倉。
延康元年，曹丕即魏王位后，任命張郃為左將軍，進封都鄉侯爵位。
等到曹丕登基之后，又進封他為鄚侯，命令張郃與曹真率領兵馬征伐盤踞在安定一帶的盧水胡人和東部羌人。
戰斗結束后，曹丕又在許昌宮召見了張郃、曹真，派張郃南下與夏侯尚一起進攻東吳政權的江夏郡。
張郃獨自率領幾路大軍渡過長江，奪取了百里洲上的吳軍堡壘。
曹叡即位后，派張郃來到南方，駐扎荊州，和司馬懿一起進攻孫權的部將劉阿等人，大軍來到祁口，與吳軍激戰，打敗了劉阿所部。
太和二年，蜀漢丞相諸葛亮大舉北犯，天水、南安、安定三郡吏民叛應諸葛亮，當時朝臣未知計所出，曹叡自信地說：
“諸葛亮恃險固守，不易進攻，
現在他自動來了，正符合引出敵人的戰術，打敗諸葛亮是一定的了。”
于是曹叡給張郃加官特進，讓他總督各路軍馬，在街亭阻擋諸葛亮的部將馬謖。
馬謖依傍險要的南山扎寨，沒有下山占據城池，張郃斷絕了他取水的道路，然后發起進攻，大敗馬謖。
南安、天水、安定各郡反叛魏國響應諸葛亮，張郃領兵平定了這幾處地方，曹叡下詔說：
“賊寇諸葛亮率領巴、蜀的烏合之眾，遇上了猛虎一樣的我軍將士。
將軍您披肩甲、執利器，攻無不克，朕要嘉獎你的大功，增加你的食邑一千戶，連同一千的賞賜共計四千三百戶。”
當時司馬懿在荊州治理水軍，打算沿著沔水進入長江討伐東吳，曹叡下詔命令張郃統帥關中的部隊接受司馬懿的指揮。
張郃到達荊州時，正趕上冬季水淺，大船不能行進，于是回師方城駐扎。
公元229年，諸葛亮再次出祁山，對陳倉發動猛烈進攻，曹叡派驛馬召張郃到京師，還親自到河南縣城，設置酒宴為張郃送行。
曹叡派遣三萬士兵以及武衛、虎賁兩營的勇士護衛張郃，還問張郃：
“等將軍到了前線，諸葛亮會不會已經占領了陳倉？”
張郃知道諸葛亮孤軍深入，不會攜帶太多的糧草，不能久攻，就回答說：
“估計臣還沒到前線諸葛亮就已經撤走了，臣屈指計算，諸葛亮的糧草支撐不了十天。”
張郃晝夜行軍到達南鄭，諸葛亮果然撤退了，曹叡詔令張郃回師京城，任命他為征西車騎將軍。