Здание Сиротского дома, XIX век