Дом купцов Багровых, II половина XIX века