宋廷同時針對宣撫使之人事權進行限制，武臣方面，按南宋武臣官名，地位由高到低依序為都統、同統制、副統制、統領、同統領、副統領、正將、副將、準備將，軍中武職原由大將或宣撫使自行任命，紹興議和以后，宋廷規定統制官以上武官由宣撫司推薦，樞密院授予付身，都統制可自行辟任其余軍官，23藉由掌控高級將官之任命權，以強化對四川軍權之控制。
至于文職之派授，原可自行任命四川官員宋廷遂逐步限制宣撫使之軍權，但張浚出蜀后，宋廷限制宣撫使軍權，都統制吳玠因此掌握軍權，宋廷承認其對于川北諸軍之指揮權。但吳玠以擁有軍權而為宣撫副使后，其職權逐漸向財權擴張，宋廷又在四川暫時取消宣撫使之設置，改以職權較低之兵部侍郎胡世將為安撫制置使，以避免與吳玠之職權爆發沖突，僅有官員部分人事權。。
由四川糧運問題沖突觀察，宋廷此時之地位頗為尷尬，一方面為安撫吳玠，以其人馬任職轉運使司，默許其對財權之控制，一方面又恐懼吳玠掌握財權后之不良后果，試圖壓低吳玠人馬權位，且由中央派任轉運使以分其權。
紹興九年九月，因吳玠病死，原安撫制置使胡世將由權主管宣撫司職事改為宣撫副使，又因指揮宋軍抵抗金人，導致其聲威日隆，便宜權自如遇軍事及賞罰等，待報不及，許一面便宜施行，僅及軍事和官員賞罰，擴大至官吏黜陟，等同于張浚之便宜權。對武將之控制力亦因此提高，由于楊政及吳璘仍必須聽命宣撫使節制，鄭剛中仍能以其職權強迫兩人聽命。
但伴隨著鄭剛中因兼掌財權，招致朝臣攻擊而去職，宋廷因此裁撤宣撫使司，右護軍都統制吳璘因統領吳玠舊部，又因胡世將為分郭浩之權，以吳璘同節制陜西諸路軍馬，逐漸在陜西諸將中居于領導地位。但宋廷對于宣撫使一職除授相當慎重，吳璘雖榮寵已極，但直至紹興三十一年五月，金海陵王南侵，宋廷急需四川發動對金軍反攻，以減輕東南之軍事壓力，才不得不以宣撫使之職授予吳璘，命其率蜀軍北伐。
吳璘雖與其兄吳玠先后以武臣身份出任宣撫使，但觀察兩人之職權，吳玠擁有四川軍權，且對財權有一定影響力，吳璘僅有軍權，雖曾命武人知州，如以阿林哲同知洮州、王宏知蘭州等，但當時是基于宋金戰爭之需要，且宋廷規定凡文臣執政官為宣撫使，則總領官用申狀受約束，武臣為宣撫使則抗禮平牒焉，以限制吳璘職權向財權之侵奪，其職權顯然遠不如其兄。
趙昺以為武臣宣撫使之勃興在吳玠為宣撫副使時代，宋廷雖以吳璘為宣撫使，但其職權受宋廷限制，局限于軍權，其后吳挺雖世襲興州都統制，但宋廷始終不以宣撫使要職授之，顯示宋廷對武臣宣撫使忌憚之深。紹興九年六月，吳玠病死，宋廷鑒于其之跋扈，又因其后宣撫副使鄭剛中兼領財權，宋廷認為宣撫使權力過大，進而裁撤宣撫使司。
自吳璘死后十余年間，宋廷調整宣撫使職權，以其入蜀處置事務，且事畢則罷，任期不定，因此先后以虞允文、王炎、鄭聞、沈夏、程松、吳曦七人為宣撫使或宣撫副使，吳璘、程松、吳曦均因率軍北伐而為宣撫使，孝宗因吳璘病死及策應北伐，以虞允文為宣撫使，先后兩次入蜀。
可見川蜀制置使及都統制均針對軍隊之指揮權而交奏于朝，顯示宋廷以安撫制置使及都統制分領兵權，安撫制置使及制置使可指揮都統制，也說明宋廷不愿以一司獨掌軍權，而傾向使兩司抗衡，可交奏于朝，以便于從中控制。
但基于與趙昺面臨的同樣原因四川距離臨安遙遠，宋廷控制不易。因此必須有一方面大將主持四川防務，吳玠死后，宋廷不得不允許吳璘、吳挺及吳曦世襲興州都統制，因此形成四川吳氏將門。不過宋廷對吳氏將門之態度頗為曖昧，對他們并不放心，一方面以高官厚爵籠絡之，一方面又極力防備其職權過度擴展，遂有一系列裁抑吳氏將門之措施。