時荊州未定，復遣遼屯長社。臨發，軍中有謀反者，夜驚亂起火，壹軍盡擾。遼謂左右曰："勿動。是不壹營盡反，必有造變者，欲以動亂人耳。"乃令軍中，其不反者安坐。遼將親兵數十人，中陣而立。有頃定，即得首謀者殺之。陳蘭、梅成以氐六縣叛，太祖遣於禁、臧霸等討成，遼督張郃、牛蓋等討蘭。成偽降禁，禁還。成遂將其眾就蘭，轉入灊山。灊中有天柱山，高峻二十余裏，道險狹，步徑裁通，蘭等壁其上。遼欲進，諸將曰："兵少道險，難用深入。"遼曰："此所謂壹與壹，勇者得前耳。"遂進到山下安營，攻之，斬蘭、成首，盡虜其眾。太祖論諸將功，曰："登天山，履峻險，以取蘭、成，蕩寇功也。"增邑，假節。
太祖既征孫權還，使遼與樂進、李典等將七千余人屯合肥。太祖征張魯，教與護軍薛悌，署函邊曰"賊至乃發"。俄而權率十萬眾圍合肥，乃***發教，教曰："若孫權至者，張、李將軍出戰；樂將軍守，護軍匆得與戰。"諸將皆疑。遼曰："公遠征在外，比救至，彼破我必矣。是以教指及其未合逆擊之，折其盛勢，以安眾心，然後可守也。成敗之機，在此壹戰，諸君何疑?"李典亦與遼同。於是遼夜募敢從之士，得八百人，椎牛饗將士，明日大戰。平旦，遼被甲持朝，先登陷陳，殺數十人，斬二將，大呼自名，沖壘入，至權麾下。權大驚，眾不知所為，走登高冢，以長戟自守。遼叱權下戰，權不敢動，望見遼所將眾少，乃聚圍遼數重。遼左右麾圍，直前急擊，圍開，遼將麾下數十人得出，余眾號呼曰："將軍棄我乎！"遼復還突圍，拔出余眾。權人馬皆披靡，無敢當者。自旦戰至日中，吳人奪氣，還修守備，眾心乃安，諸將鹹服。權守合肥十余日，城不可拔，乃引退。遼率諸軍追擊，幾復獲權。太祖大壯遼，拜征東將軍。建安二十壹年，太祖復征孫權，到合肥，循行遼戰處，嘆息者良久。乃增遼兵，多留諸軍，徙屯居巢。
關羽圍曹仁於樊，會權稱藩，召遼及諸軍悉還救仁。遼未至，徐晃已破關羽，仁圍解。遼與太祖會摩陂。遼軍至，太祖乘輦出勞之，還屯陳郡。文帝即王位，轉前將軍。分封兄汛及壹子列侯。孫權復叛，遣遼還屯臺肥，進遼爵都鄉侯。給遼母輿車，及兵馬送遼家詣屯，敕遼母至，導從出迎。所督諸軍將吏皆羅拜道側，觀者榮之。文帝踐阼，封晉陽侯，增邑千戶，並前二十六百戶。黃初二年，遼朝洛陽宮，文帝引遼會建始殿，親問破吳意狀。帝嘆息顧左右曰："此亦古之召虎也。"為起第舍，又特為遼母作殿，以遼所從破吳軍應募步卒，皆為虎賁。孫權復稱藩。遼還屯雍丘，得疾。帝遣侍中劉曄將太醫視疾。虎賁問消息，道路相屬。疾未瘳，帝迎遼就行在所，車駕親臨，執其手，賜以禦衣，太官日送禦食。疾小差，還屯。孫權復叛，帝遣遼乘舟，與曹休至海陵，臨江。權甚憚焉，敕諸將："張遼雖病，不可當也，慎之!"是歲遼與諸將破權將呂範。遼病篤，遂薨於江都。帝為流涕，謚曰剛侯。子虎嗣。六年，帝追念遼、典在合肥之功，詔曰："合肥之役，遼、典以步卒八百，破賊十萬，自古用兵，未之有也。使賊至今奪氣，可謂國之爪牙矣。其分遼、典邑各百戶，賜壹子爵關內侯。"虎為偏將軍，薨。子統嗣。