Дом Полежаевых, II половина XIX века