Усадьба Лабзина, 2-я половина XIX века