川路圣謨拒絕跟著忠右衛門撤回江戶，他說他受將軍之命，撫理浦賀，有守土之責。若是浦賀失守，他也不能獨存。
人各有志，忠右衛門估摸著美國人的心思不會放在浦賀上面，便也不強求川路圣謨跟著自己一起撤退，只吩咐他一個時辰一報，不要斷了消息。
江戶灣內的水路是沒有辦法走了，忠右衛門只能帶著人馬從陸路向品川撤退。在品川御殿山炮臺駐守的松平齊宣早就看到美國海軍大搖大擺的來到，并向江戶的方向鳴炮示威。這會子，急的團團轉，見到忠右衛門之后，連忙拉上忠右衛門往江戶城趕。
等快馬到城，只見街道蕭瑟，原本布置在各街道的藩兵和旗本御家人，這會子已經逃散了多半。老百姓都知道沿海不安全，全都往北武藏、上野、下總跑路，曾經百萬人口的大都會，現在不知還有幾個人。
“怎么就到了這地步？”松平齊宣這兩天一直沒有合眼，眼睛里全是血絲。
“您二位終于回來了，大御所薨逝，現在本城一片混亂呢。”早就在日本橋等候兩人的江戶南町奉行助六立刻迎了上來。
“什么！”兩人走的都急，這才知道。
身旁的松平齊宣只覺一陣天旋地轉，他是真的愛幕府，偏偏他愛的這么深沉的幕府，顯現出一副亡國的樣子，讓他難以接受。
“誒誒誒，快扶住明石侯。”忠右衛門趕忙讓助六扛住下馬的松平齊宣。
“江戶情形如何？”
“別說了，糟糕到不能再糟糕。”
助六把松平齊宣交給兩個屬下扛著，同忠右衛門快步登城。他也是好兩天沒有合眼了，身為江戶南町奉行，守土有責，一旦江戶失守，他無面目去見自德川家康以來的歷代先君。
按照他的說法，傳習隊離開江戶前往浦賀和富津布防后，城下百姓和部分武士就開始跑路，他們擔心沒有大軍守衛的江戶，根本就無法堅守。但那時跑的人只是部分，江戶灣天險，或許能夠抵擋一二呢。
等佩里率兵炮擊品川之后，全城大潰，好容易集合起來的幾萬旗本以及藩兵，基本上全都跑了。累代奉公的旗本御家人，并不比百姓強上多少。隨后德川家慶薨逝的消息走漏，連最后那點子堅定的武士都動搖了，所有人都覺得幕府的氣運已經到此為止。
眼下還在江戶的，恐怕只有暫時不方便跑路的諸藩大名，以及幕府直接統率管轄的人馬部隊而已。全城不知道還有沒有十萬人，或者二十萬人。
有一說一，助六都把自己的家人送去了上野寬永寺。他守土有責，可他的新婚妻子才懷孕，怎么忍心就留下來跟著一道死呢？
唉……
忠右衛門只能哀嘆一聲，幕府承平日久，天下軍民不習戰事，不聞兵戈，只要稍微有些風吹草動，人心便會敗壞。如此情形，又有什么辦法呢。
登城觀瞧，連本城的警備和規矩都出現了瓦解，原本秩序井然的中奧內，到處都是面色驚惶，身著行裝的武士。來來往往的，助六沒有詔令，也這樣跟著忠右衛門一道進來了。
尚未入殿，便聽到殿內的爭論之聲。吵架的內容便聽得忠右衛門眉頭緊皺，殿上居然有人在指責剛剛是諸藩兵馬先行潰散，隨后導致幕府的旗本三四萬人也跟著跑路。
怎么殿上會有外樣諸侯！