Дом Гореловых, XIX век