Усадьба Зубовых, последняя треть XIX века