Усадьба Н.П. Демидова, XIX в.