Дом генерала Кравцова, 2-я половина XIX века