川路圣谟拒绝跟着忠右卫门撤回江户，他说他受将军之命，抚理浦贺，有守土之责。若是浦贺失守，他也不能独存。
人各有志，忠右卫门估摸着美国人的心思不会放在浦贺上面，便也不强求川路圣谟跟着自己一起撤退，只吩咐他一个时辰一报，不要断了消息。
江户湾内的水路是没有办法走了，忠右卫门只能带着人马从陆路向品川撤退。在品川御殿山炮台驻守的松平齐宣早就看到美国海军大摇大摆的来到，并向江户的方向鸣炮示威。这会子，急的团团转，见到忠右卫门之后，连忙拉上忠右卫门往江户城赶。
等快马到城，只见街道萧瑟，原本布置在各街道的藩兵和旗本御家人，这会子已经逃散了多半。老百姓都知道沿海不安全，全都往北武藏、上野、下总跑路，曾经百万人口的大都会，现在不知还有几个人。
“怎么就到了这地步？”松平齐宣这两天一直没有合眼，眼睛里全是血丝。
“您二位终于回来了，大御所薨逝，现在本城一片混乱呢。”早就在日本桥等候两人的江户南町奉行助六立刻迎了上来。
“什么！”两人走的都急，这才知道。
身旁的松平齐宣只觉一阵天旋地转，他是真的爱幕府，偏偏他爱的这么深沉的幕府，显现出一副亡国的样子，让他难以接受。
“诶诶诶，快扶住明石侯。”忠右卫门赶忙让助六扛住下马的松平齐宣。
“江户情形如何？”
“别说了，糟糕到不能再糟糕。”
助六把松平齐宣交给两个属下扛着，同忠右卫门快步登城。他也是好两天没有合眼了，身为江户南町奉行，守土有责，一旦江户失守，他无面目去见自德川家康以来的历代先君。
按照他的说法，传习队离开江户前往浦贺和富津布防后，城下百姓和部分武士就开始跑路，他们担心没有大军守卫的江户，根本就无法坚守。但那时跑的人只是部分，江户湾天险，或许能够抵挡一二呢。
等佩里率兵炮击品川之后，全城大溃，好容易集合起来的几万旗本以及藩兵，基本上全都跑了。累代奉公的旗本御家人，并不比百姓强上多少。随后德川家庆薨逝的消息走漏，连最后那点子坚定的武士都动摇了，所有人都觉得幕府的气运已经到此为止。
眼下还在江户的，恐怕只有暂时不方便跑路的诸藩大名，以及幕府直接统率管辖的人马部队而已。全城不知道还有没有十万人，或者二十万人。
有一说一，助六