Усадьба Дрозжиловых - Г.Б. Перетц, XIX век