另外杭州有錢塘江和京杭運河水上交通方便，又靠近東海，正可發揮瓊州水軍的作用。再有杭州經濟發達，到北宋就已被譽為萬物富庶的東南第一州，如此可以為遠征充足的糧餉補充，為堅守堅實的后勤保障。所以趙昺計劃戰役的初期要圍繞杭州首先展開，可如此就像推到了一塊多米諾骨牌，從而引發一系列的連鎖反應，最后發展到什么程度，他也不敢斷定。
不過要攻取杭州城也并不容易，作為前朝舊都，又是財稅重地，蒙元朝廷在此駐扎了四個萬戶，且去歲忽必烈重新劃分了行省，將宋的福建路、兩浙路及淮東、淮西等路整合成江浙行省，并將治所移駐杭州，兵力進行了調整，當下杭州路鎮戍軍萬戶府共有四翼，分別是上都、真定、潁州和益都四個萬戶，這也更增加了攻取杭州的難度。
據事務局偵察，杭州萬戶府達魯花赤為昭勇大將軍拔覩，萬戶為輔國上將軍鄭祐，副萬戶為宣武將軍李孛蘭奚。元軍的番號取自士兵的來源地，上都新軍萬戶府隸屬于蒙哥汗部，后跟隨征討鄂州，此后又隨伯顏大軍南下，計功行賞，鎮守杭州，由禿滿任管軍萬戶；真定是史天澤家族的根據地，其父早在成吉思汗時代便降蒙，攻金破宋屢立大功，任五路萬戶，官職左丞相，也是老牌的漢人世侯，真定萬戶由其軍事集團將領張興祖世襲。
益都原來為李全、李檀父子的地盤，所部素以驍勇善戰著稱，中統三年李檀之亂失敗后，益都降軍多慘遭蒙古殺戮，但也有不少幸存者，宋元襄樊之戰爆發后，蒙元再次簽發各地軍人，不少還鄉舊軍重新被征召。至于益都萬戶則是由張弘范的益都淄萊軍派生出來的益都新軍萬戶府，由劉國杰擔任萬戶。
潁州萬戶出身于行唐邸氏，在成吉思汗二次伐金時邸順率鄉兵降蒙，部眾多出西京、大名、真定、河間征調，又自邢州、威州、新衛州征發，號稱領七路兵馬，皆是北人出身。以軍功累遷恒州安撫使、元帥右監軍、知中山府事，恒州都元帥等職。
滅金后蒙古開始大量分封漢軍萬戶，邸順躋身萬戶之列，成為歸順蒙古的漢人世侯之一，后移鎮潁州。其子邸浹承襲萬戶，曾率部渡江，參加平定寧國、徽州的叛亂。此次蒙元重新整編江淮、江西各元帥府與招討使所轄軍隊，設三十七翼萬戶府，當下七路之兵，全集麾下，軍容益盛，屯戍無為軍。
另外，杭州還駐有水軍萬戶府，行樞密院于江北河南行省管下的蘄、黃、新、揚、高郵、真、滁、杭州等萬戶府各撥調軍兵二千余名，屯戍龍灣，專以教習水戰。按照元軍編制，上萬戶七千人以上，中萬戶五千至七千人，下萬戶三千至五千人不等，則四萬戶府軍和水軍總數大體在四萬人左右。
從中不難發現，屯駐杭州的元軍除水軍稍顯羸弱外，其余四部皆是開國時期的勁旅，且兵將出身不是蒙古人就是北人，他們自北向南橫掃了整個中國，其中名將輩出，更是久經沙場。而忽必烈以他們鎮戍杭州，其意就是想以此震懾江南百姓，也是將杭州視為重地。
要取杭州面對如此驕兵悍將，趙昺心里也不免打突突，自己麾下各部主力雖已經換裝完畢，也經過嚴格的整訓，但是參加的實戰多是以師、旅規模參戰。而此次會戰卻是要面對大規模的對戰，能否在深入敵境腹地的情況下戰勝敵軍不確定性太多了，即便慘勝他也喪失了進一步奪占江東的能力，且自己多年的心血也要付之東流，讓趙昺對自己的計劃又有些猶豫了