Дом Ладыженского, конец XIX – XX веков