曹操率軍北伐，許都空虛，如果荊州牧劉表派遣劉備率軍攻擊許都，那事情就危險了。
曹操向張遼表示，劉表不能任用劉備，遂率軍出征。
同年八月，曹操登上白狼山，遭遇烏桓人。
當時軍隊大多都在后方，而在曹操身旁的人很少，眾人都為此感到驚慌。
張遼勸曹操出擊，曹操將自己手持的麾旗交給他。
之后張遼率軍出擊，斬殺烏桓單于蹋頓，并降服二十多萬人。
建安十三年六月，當時荊州還沒有平定，張遼奉命前往長社駐扎，快出發的時候，軍中有謀反的人，在夜晚放火呼叫，軍營因此被擾亂。
張遼讓身邊的衛士別動，表示不是全營造反，只是部分叛亂的人，打算制造混亂而已。
隨后張遼傳令軍中，讓不想造反的士兵安心靜坐。
張遼親自率領幾十名親兵，佇立在軍營中間。
不久后，就抓獲了制造混亂的人，張遼將他殺死。
建安十四年十二月，袁術殘部陳蘭、梅成煽動氐六縣的民眾叛變，曹操派于禁、臧霸等領兵征討梅成，命張遼督率張郃、牛蓋等人征討陳蘭。
梅成假裝投降于禁，等于禁撤軍后，梅成就跑去陳蘭會兵，一起遁入灊山。
灊山有一座天柱山，高二十里，山勢險峻，道路狹窄艱險，寬度僅容一人通過，陳蘭等人在上面筑起營壘據守。
張遼打算進軍，眾將以路途險阻為由勸他，張遼則表示誰勇敢誰就能搶占先機。
隨后張遼前往山下安營，之后率軍攻擊，斬殺陳蘭、梅成二人，盡數俘虜他們的部眾。
曹操嘉獎張遼在此戰中的功勞，增加了他的食邑，并授予他假節。
建安十九年五月，孫權率軍攻擊皖城，張遼從合肥率軍馳援，到硤石聽聞城池被攻破，便在硤石以南修筑堡壘，稱之為南硤戍。
建安二十年曹操征討孫權返回后，張遼同樂進、李典等人率七千多士兵駐扎在合肥。
之后曹操征討漢中張魯的時候，留下一封信給護軍薛悌，并寫上“賊至乃發”四個字。
同年八月，孫權率領十余萬軍隊圍攻合肥，眾人打開信件，曹操在信中命令，張遼、李典出擊迎戰孫權，樂進守城，薛悌不得參戰。
眾人都感到疑惑，張遼向眾人表示，曹操的意思是趁敵人立足未穩的時候，出擊挫敗他的氣勢，穩定軍心，這樣才能更好防守。
隨后張遼連夜募集敢死之士，前后召到800人，張遼殺牛犒勞士兵，并打算明天出戰。
“天剛亮，張遼就率先攻入敵陣，斬殺兩名將領，十余名士兵，此后又大聲呼喊自己的姓名，沖入孫權的營壘當中，一直到孫權的帥旗下。”
“孫權及其部下向高處撤退，后見張遼所帶士兵較少又將其包圍，張遼兩度突出重圍，戰斗從早上直至中午，吳軍士氣喪失殆盡，退守修筑防御工事。”
“合肥城內見吳軍退走心才安定了下來，眾將都十分佩服張遼。”
“此后孫權又圍攻合肥十多天，眼見不能攻破，便率領軍隊返回。”
“當時孫權身處逍遙津北，張遼率領軍隊奇襲，吳軍將領甘寧、呂蒙、凌統迎戰。”