Усадебный дом купца Замятина, вторая половина XIX века