タウンゼント・ハリスはアメリカの初代総領事として1856年8月21日下田に来航しました。下田の玉泉寺に総領事館を開き、下田奉行・幕府側と交渉し2年後には日米修好通商条約の締結に成功しました。以後公使に昇格し江戸麻布の善福寺の公使館に移りました。そして公使としての任務を終え、1862年5月10日日本を去り、帰国の途につきました。当館にはハリスが下田滞在中の遺品を展示しています。