完顏宗弼占領杭州后，派斜卯阿里、烏延蒲盧渾率金軍四千追擊，當年除夕追至明州城下，金軍自高橋鎮攻西門，張俊部將劉寶，以及楊沂中（即楊存中）、田師中所部等抗擊金軍，知州劉洪道亦率州兵助戰，金軍戰敗，死傷以千計。
建炎四年（1130年）正月初二，金軍又攻明州，張俊與知州“劉洪道坐城樓上，遣兵掩擊，殺傷大當，敵奔北墜田間或墜水，俊急令收兵，夜，敵拔寨去，屯余姚”。
四月，張俊改任浙西、江東制置使，以招收江浙地區的“群盜”，除劉光世、韓世忠兩軍外，其他諸將皆受張俊節度，成為當時最主要的將領。六月，高宗改御前軍為神武軍，張俊改任神武右軍都統制，領定江、昭慶二鎮節度使。
紹興元年（1131年）后，張俊討伐馬進、李成有功，進太尉。以后歷任浙西江東宣撫使、淮西宣撫使。
紹興四年（1134年）十月，金人又至，舉朝震恐，張俊力主抗擊：“避將可之，惟問前進一步，遮可脫。”
紹興五年（1135年），偽齊劉麟入侵，張俊與楊沂中在泗州合力拒敵。十二月，改神武軍等為行營護軍，張俊所部改稱行營中護軍。張俊與韓世忠所部為南宋兩支最重要的軍隊，被高宗比喻為左右手。
紹興六年（1136年）十月，偽齊發兵三十萬大舉侵宋，受張俊節制的楊沂中軍與偽齊主力劉猊軍激戰于藕塘（今安徽定遠東南），偽齊軍戰敗。張俊所部張宗顏等生力軍趕至，兩軍遂共奮擊，偽齊軍大敗，張俊又率主力到達，追擊偽齊軍，與楊沂中軍一直追擊至壽春（今安徽壽縣），這就是列入“中興十三處戰功”的“藕塘之戰”。
此役后，張俊以功進領鎮洮、崇信、奉寧軍三鎮節度使。此后數年，張俊與韓世忠分守江防，使金人不敢窺江而渡，為南宋爭得了休養生息的寶貴時間。
紹興七年（1137年），宋朝廷解散劉光世部，左護軍副都統制酈瓊率四萬人叛降偽齊。次年，原劉光世部主力、左護軍都統制王德所部兩萬人，歸屬于淮西宣撫使張俊。
紹興八年（1138年），宋、金首次議和，金將原偽齊轄區劃歸南宋，南宋成為金屬國，張俊加少傅及安民靖難功臣號。
張俊此人，從一個小小弓箭手，升官至少傅，從一品大員，全無背景，可以說是智勇雙全，不過人無完人，張俊最大的劣跡就是愛財。
張俊極得趙構恩寵，靠貪婪和他占據的巨大財富而聞名于世。大肆兼并土地，占有了巨額田產，成為古往今來罕見的大地主，號稱“占田遍天下，而家積巨萬”。
張俊家共有良田一百多萬畝，每年收租米一百萬石以上，相當于南宋最富庶的紹興府全年財政收入的兩倍以上。
通過巧取豪奪，張俊還占有了大批園苑、宅第，僅所收房租一項，每年就多達七萬三千貫錢，也就是僅房租一項，就年收入七億三千萬文錢。
張俊的子孫曾經一次捐獻給南宋朝廷十萬石租米，清單上分別開列了江東和兩浙路六個州府所屬十個縣，共計十五個莊的租米數額。
張俊在世時，家里的銀子堆積如山，為了防止被偷，張俊命人將那些銀子鑄成一千兩（相當于后世四十公斤）一個的大銀球，名叫“沒奈何”，意思是小偷搬不走它們，全都拿它們沒辦法。
李寺來宋朝之前，張俊正好在外地統兵，而趙構掀起的財產申報令風波，只對京官進行了清算，張俊正好躲過一劫。
不過這股風潮卻是早就吹到了張俊的耳朵里，當他知道秦檜都沒能幸免于難，他就知道趙構是動了真格的。