宣宗大悅，當即下令派于謙巡按江西，平反數百起冤獄，于謙上書奏報陜西各處官校騷擾百姓，詔令派御史逮捕他們。
公元1430年，宣宗知道于謙可以承擔重任，當時剛要增設各部右侍郎為直接派駐省的巡撫，于是親手寫了于謙的名字交給吏部，越級提升為兵部右侍郎，巡撫河南、山西。
于謙到任后，輕裝騎馬走遍了所管轄的地區，訪問父老，考察當時各項應該興辦或者革新的事，并立即上書，一年上書幾次，稍有水旱災害，馬上上報。
公元1441年，于謙上書說：
“現在河南、山西都積蓄了數百萬斤糧食，請在每年三月份時，令府州縣報上缺少食物的下等民戶，然后按分額支給他們糧食，先給豆類和高粱，其次給小米和麥子，最后給稻谷，等秋收后償還。
因年老有病以及貧困而不能償還的則給予免除，州縣官吏任期已滿應當升遷的，如果預備糧不足，不能離任，還要命令風憲官員經常監察。”
皇上下令施行，河南黃河沿岸經常被洪水沖開缺口，于謙令加厚建筑堤壩，每個鄉里都要設亭，亭設亭長，責令其督率修繕堤壩。
又命令百姓種樹挖井，結果當地榆柳夾路，行人也不再受渴了。
大同孤立在塞外，按撫山西的官員常走不到，于謙請另設御史來治理，又把鎮邊將領私人開墾的田地全部收為官家屯田，以資助邊防開支。
于謙的恩威遠為流行，太行山的盜賊為此而不敢露面，除此之外于謙為官還十分清廉。
正統年初，楊士奇、楊榮、楊溥主持內閣朝政，都很重視于謙，于謙所奏請的事，早上上奏章，晚上便得到批準，都是“三楊”主辦的。
到了“三楊”去世，太監王振開始掌權，作威作福，肆無忌憚地招權納賄，百官大臣爭相獻金求媚。
每逢朝會期間，進見王振者，必須獻納白銀百兩，若能獻白銀千兩，始得款待酒食，醉飽而歸。
而于謙每次進京奏事，從不帶任何禮品，有人勸他說：
“您不肯送金銀財寶，難道不能帶點土產去？”
于謙瀟灑一笑，甩了甩他的兩只袖子，說：
“只有清風！”
還特意寫詩《入京》以明志：絹帕蘑菇及線香，本資民用反為殃，清風兩袖朝天去，免得閭閻話短長。
后于謙入朝，推薦參政王來、孫原貞，通政使李錫逢迎王振的指使，彈劾于謙因為長期未得晉升而心生不滿，擅自推舉人代替自己，把他投到司法部門判處死刑，關在獄中三個月。
后來百姓聽說于謙被判處死刑，一時間群民共憤，聯名上書，王振便編了個理由給自己下臺，稱從前也有個名叫于謙的人和他有恩怨，說是把那個“于謙”和被關起來的于謙搞錯了，才把于謙放出來，降職為大理寺少卿，后囚山西。
山西、河南的官吏和百姓俯伏在宮門前上書，請求于謙留任的人數以千計，周王、晉王等藩王也這樣上言，于是再命于謙為巡撫。
當時的山東、陜西流民到河南求食的，有二十余萬人，于謙請求發放河南、懷慶兩府積儲的粟米救濟。
又奏請令布政使年富安撫召集這些人，給他們田、牛和種子，由里老監督管理，前后在任共十九年，他父母去世時，都讓他回去辦理喪事，不久便起用原職。
公元1448年，于謙被召回京，任兵部左侍郎，而他最膾炙人口的事跡也正式拉開帷幕。