Усадьба Лосевых-Сомовых, XIX век