勝海舟當然不會聽朱永安的建議，他想親自見到德川家茂，與德川家茂繼續商讨幕府海軍的建設事宜。

在朱永安沒看到的地方，勝海舟與西鄉隆盛見面，二人就神戶港開港一事進行讨論。

西鄉隆盛被勝海舟的見識所折服，就在勝海舟告辭離去時，西鄉隆盛突然問道：“勝大人，如果我沒記錯，之前我在南明駐地見過你一面，隻是你當時跟随虎親王，我沒有和你談話。你現在住在南明駐地，意欲何為？”

盡管不明白西鄉隆盛的意思，勝海舟仍舊給出答案：“時局不利于俺，所以前往南明駐地尋求庇護。”

出乎所有人的意料，彈劾勝海舟的人越來越多，德川家茂毫無辦法，為了堵住悠悠衆口，幹脆給予勝海舟“閉門思過”處分，強制要求勝海舟回到江戶在家中蟄居。

随之産生的還有街坊的流言，不知是誰傳出的，認為勝海舟空有其表，實際上才學有限，德川家茂當初之所以重用勝海舟，是因為勝海舟和南明人來往密切，德川家茂看在南明人的面子上才任用他。迫于無奈，勝海舟隻能告别朱永安，悄咪咪地從京都潤回江戶。

馬車外正在下雪，導緻道路不算好走，所以馬車在路上緩慢地前行，有時會因為路況不好而颠簸。坐在馬車裡的勝海舟感覺到沮喪和無奈，他想找到些許安慰，隻能将朱永安之前送他的那幅的畫像抱在懷中。

恍惚間，勝海舟似乎想到什麼，他臉上的消極神色，逐漸被意味不明的笑容替代。