Дом Митрофановых, XX век