呂布集團本來已經數次戰勝曹操，但因蝗災大起，呂布集團缺糧求助于乘氏李家。
乘氏李家假裝幫忙，以肥牛、酒、胡餅麻痹了呂布集團，卻趁機將呂布集團擊破。
呂布集團潰退之后，同仇敵愾、卷土重來，猛烈地報復了乘氏李家，李典的至親李乾也被呂布集團所殺。
但在合肥城面對東吳大軍的侵攻之際，張遼依然能夠不計前嫌地邀請李典共同出戰，李典也同樣展現了顧全大局的風度，愿與張遼一同出戰。
張遼曾在呂布集團當中與曹軍舊將們慘烈廝殺，因此，他與于禁、樂進等人不和，也是合情合理。
然而有一次，張遼卻與他的護軍武周產生了矛盾，于是，張遼來見揚州刺史溫恢，希望請胡質來擔任他的護軍。
胡質以生病為借口，推辭了任命，張遼、胡質出屋之后，張遼對胡質說：
“我非常地器重你呀，而你為什么要如此辜負我呢？”
胡質說：“古人管仲、鮑叔牙相交，管仲在生意分紅時取走了很多，鮑叔牙仍然相信他不是貪心的人。
管仲在參軍打仗時常常逃跑，鮑叔牙仍然相信他不是膽小的人，聽聞詆毀管仲的流言，鮑叔牙不會相信那些流言。
這樣的交情才能長久啊！武周身為雅士，在往常，您對他贊不絕口，如今卻因為一些小事就產生了矛盾。
何況我胡質才能淺薄，怎么能始終得到您的信任呢？這才是我不愿就職的原因啊。”
張遼非常感激胡質所言，于是便改過自新，與武周又恢復了和睦。
張遼不僅能征慣戰，而且善于統兵，投降曹操之后多年守衛合肥，讓東吳屢屢進攻無果。
公元213年，張遼與臧霸同為征濡須口的前鋒，后攻破孫權江西營，擒獲孫權都督公孫陽。
公元214年五月，孫權親征皖城，張遼從合肥向皖城馳援，在增援途中得知皖城失守。
于是張遼在硤石的南面迅速筑起了一座堡壘，作為合肥的前哨，同年七月曹操征伐孫權，同年十月曹操無功而返，自合肥還。
曹操在離開合肥時，帶走了大批部隊欲作西征之用，給屯駐合肥的張遼與樂進、李典等將領只留下了七千余人。
張遼得知曹操有西征之意，認為合肥即將孤立無援，孫權必會趁機來攻，于是開鑿了藏舟浦，用來隱藏舟船。
公元215年，曹操率領重兵西征張魯，讓護軍薛悌送去一封信函，信函邊還寫明，要在有敵人來攻時再打開來看。
不久，東吳首領孫權率領十萬大軍進圍合肥，張遼與諸將打開信，信中說：“若孫權軍來到，張、李將軍出戰，樂將軍守護軍，不得與戰。”
曹操只在信中明確了3位將領的分工，但是，完全沒有提及何時出城、何時撤退、出城人數、攻向哪里、如何接應等具體措施，況且將在外君命有所不受。
因此合肥諸將們都充滿疑慮，張遼根據曹操遠征漢中而合肥缺乏后援的現狀，做出了分析，消除了諸將的疑惑，李典也對張遼所說的話表示贊同。