八木邸は新撰組の宿舎として利用されていた。芹沢鴨が暗殺された場所でもあり、建物内部にはその際についた刀傷が残っている。