最后的出征
2年初，約翰為確保通過安塔利亞的聯系線而對科尼亞的塞爾柱人發動了戰役。就在這場戰役期間，他的長子共治皇帝阿萊克修斯因熱病而去世。在確保了他的路線之后，約翰為了收復安條克著手對敘利亞發動了新的遠征。這次遠征約翰還計劃帶著他的軍隊一起去耶路撒冷朝圣。耶路撒冷國王福爾克，因懼怕皇帝的軍事優勢將會迫使他的王國向拜占庭稱臣并承認其宗主權，乞求皇帝只帶適量的護衛前來。福爾克稱他貧瘠的王國無法支持如此一支龐大的軍隊通過。這一溫和的請求致使約翰二世決定推遲他的遠征。約翰迅速來到北敘利亞，強迫喬斯林交出人質，其中包括喬斯林的女兒，他之后提出安條克的城市及衛城都將交給皇帝。普瓦捷的雷蒙德為拖延時間提議由安條克全體大會公投決定。季節的變化也促使約翰決定將他的軍隊率領至奇里乞亞過冬，隨后在來年重新進攻安條克。
去世與繼任者
在為他的軍隊重新做好進攻安條克的準備之后，約翰開始在奇里乞亞陶魯斯山區獵野豬取樂，3年4月8日他意外地被一支毒箭傷到了他的手。起初約翰忽視了他的傷，這使得之后他的傷勢愈發嚴重，他在事故的幾天后便可能因敗血癥去世了。還有一種說法是約翰被其軍中因不滿于其進攻安條克同宗的拉丁裔士兵密謀刺殺，并且他們希望他親西方的兒子曼努埃爾繼承皇位。這一猜想在第一手史料里沒有明顯的證據。
約翰生前最后一件大事便是指定他的小兒子曼努埃爾為自己的繼承人。約翰選擇曼努埃爾而非其兄長伊薩克有兩條有記載的證據伊薩克的脾氣易怒，并且曼努埃爾的膽識已經在eesrei戰役中顯現了出來。另一個證據據稱是源自預言的選擇，它預言約翰的繼承人名字的首字母應該是““。約翰二世的摯友約翰阿克蘇赫，盡管有記載他苦勸垂死的皇帝，伊薩克才是更合適的繼承人，但還是在確保曼努艾爾獲得皇權不受任何公開挑戰上做出了貢獻。
約翰二世的遺產
歷史學家約翰伯肯梅爾最近認為約翰的統治是科穆寧王朝中最成功的一部分。在一書中，他強調正是由于約翰的戰爭注重于圍城戰而不是有風險的對戰。伯肯梅爾認為約翰每年發動有節制的戰役，實際目標比他兒子曼努埃爾一世明智得多。從這一觀點來看，約翰的戰爭對拜占庭更為有益，因為他們保護了缺乏可靠邊境的帝國核心區域，并最終擴展了帝國在小亞細亞的領土。突厥人被迫轉向防御，同時約翰通過與神圣羅馬帝國皇帝結盟來對抗西西里的諾曼人來保持帝國的外交優勢地位。
大致上，約翰毫無疑問留下了一個比他剛繼位時好得多的帝國。當他去世時已經有大量的領土被光復，并且他使收復安納托利亞中部以及重建幼發拉底河防線的目標成為可能。然而，安娜托利亞內陸地區的希臘人卻日益習慣于突厥人的統治并且發現其比拜占庭時期要更好。讓安納托利亞中部的突厥人、塞爾維亞人乃至黎凡特的十字軍國家屈服并承認帝國宗主權相對容易，但如何將這附庸關系轉化為對帝國安全的堅實保障卻非常棘手。這些問題最終都遺留給了他聰慧機敏的兒子曼努埃爾去試圖解決。
家庭