“朕以為當下正是商船回航之際，途中每每會有海匪出沒，劫掠商船，殺人越貨，我們是不是可以護航名義出征，而兵匪常常難以區分”趙昺想了想言道。
“陛下所言不假，高麗水軍截殺搶掠商船的事情歷年多有發生，其既然愿意做賊，自然難逃我大宋王師的剿殺，呵呵”文天祥點頭應和道，可說著說著他自己卻先樂了。
“臣以為可行，我大宋剿殺海匪乃是保境安民之舉，必讓四夷蕃商臣服稱賀，實乃大義之舉”王應麟也施禮道。
“好，但是朕以為在水師出征后，再行宣揚，以防海匪聞風而逃”趙昺言道。而心中暗樂，果然不出所料，眾人需要的只是一個大義的名分，至于海匪是真是假，在這種情況下沒有人去深究，就看怎么說唄
張世杰的突然生病讓場面變得有些詭異起來，趙昺也不由的緊張起來，暗自攥攥拳頭，才發現手心都是汗。按照大宋朝的慣例樞密院與中書門下并稱二府，中書門下為政府，管理政務；樞密院為樞府，主管軍事，二折同為中央政府機關。
樞密院設樞密使及副使時，其主官稱知樞密院事，佐官則稱同知樞密院事，或簡稱知院、同知院。以士人充任，副職間用武臣。宋初，中書和樞密院對掌文武二柄，宰相因不帶樞密銜而不得預軍事。在元豐改制時，有廢樞密院、還軍政于兵部之議，神宗以為“祖宗不以兵柄歸有司，故專命官統之，互相維制，何可廢也”遂留之。
在慶歷年間，宋對西夏用兵，一度由宰相兼任樞密使，開啟了政府兼管軍事的先例。在寧宗后，宰相兼任樞密使已成為慣例。直到蒙元攻陷臨安，行朝建立時仍由左相陳宜中兼任樞密使，而轉機出現在陳宜中出走之后，為了平衡權力，陸秀夫升任右相，以張世杰為樞密使，但是陸秀夫威望不足，朝政也被其把控，這種情況一直維系到趙昺繼位。
崖山之戰后，趙昺在張世杰屢戰屢敗的情況下發力，一舉奪回了權力，陸秀夫和文天祥分任左、右相，又以應節嚴和劉黻為參知政事，才算穩定了朝政。而又出于平衡權力，牽制二省的考慮下，他仍然以被剪除了羽翼的張世杰為樞密使，從而實現文武并治的局面。
這些年來其實張世杰更多的是扮演影子角色。趙昺從保護自身和政治上的需要將軍隊一直置于自己的絕對領導之下，后來又成立軍機處幾乎將樞密院的權力全部剝奪。而從能力上面考慮，他也感覺到張世杰在軍事思想上已經落伍了，難以跟上自己對軍隊改革的步伐。
在指揮上張世杰是步軍出身，對水戰戰術十分生疏，焦山水戰和崖山水戰的兩次大敗就是充分說明了這一點，而瓊州三面環水，缺乏戰略縱深，只有依靠水軍才能拒敵于外，保住最后的落腳點。另外由于火器開始在宋軍中推廣，已經使戰爭的形式發生了改變，需要新的戰術和戰法。而張世杰卻對此接受緩慢，甚至持懷疑態度。因此他不能放心的任其指揮。
再有從戰略上看，趙昺發現在經歷一系列的失敗后，張世杰已經喪失了進取之心，只希望能夠守住瓊州這一隅之地，對反攻江南，乃是收復中原缺乏信心。以致在軍事理念上日趨保守，他擔心由其掌軍會將這種頹廢之氣帶給將領們，但出于政治上的考慮，也只能繼續以其為樞密使，以阻止士人插手軍務，雖然其是掛起來的。
后來趙昺為了提高武人地位，壓制日益不安分的士人，決定實施軍改，將軍政歸于兵部，軍令歸于樞密院，同時確立了以武人為樞密院使，士人為兵部尚書的架構。在軍改后，出于同樣的目的，趙昺依然以張世杰為樞密使，但是仍然沒有放權，將兵部和樞密院都控制在自己手里。