AR-фотограмметрия Object Capture: от съёмки до 3D-модели

Разработка AR-каталога товаров часто упирается в создание реалистичных 3D-моделей. Ручное моделирование каждого предмета — дорого и долго. Мы предлагаем проверенный пайплайн фотограмметрии: снимаете объект на iPhone, через Object Capture получаете готовый USDZ. Наш опыт — более 200 моделей для ритейла и музеев. Под ключ — от настройки съёмки до публикации в каталоге. Экономия времени по сравнению с ручным моделированием достигает 60%, а затраты клиента снижаются в 2-3 раза для типового проекта.

Но на практике всё сложнее: идеальные условия редки. Алгоритм требователен к свету, ракурсам и поверхностям. Мы автоматизируем процесс и обучаем команду, чтобы получить качественную 3D-модель с первого раза. Оставьте заявку, и мы подберём оптимальный пайплайн под ваши задачи — бесплатно.

Object Capture: как создать 3D-модель для AR?

PhotogrammetrySession из RealityKit анализирует пересечение фотографий, строит point cloud, восстанавливает геометрию (depth estimation + multi-view stereo) и генерирует меш с текстурой. Документация Apple указывает, что точность результата напрямую зависит от качества исходных снимков.

import RealityKit

let session = try PhotogrammetrySession(input: folderWithImages)
try session.process(requests: [
    .modelFile(url: outputURL, detail: .medium)
])

for try await output in session.outputs {
    switch output {
    case .processingComplete:
        print("Готово")
    case .requestProgressInfo(_, let info):
        print("Прогресс: \(info.fractionComplete)")
    default:
        break
    }
}

Параметр detail определяет качество: .preview, .reduced, .medium, .full, .raw. Для мобильного AR обычно хватает .medium — баланс между качеством и размером.

Требования к аппаратному обеспечению

• Mac с Apple Silicon или Intel Mac на macOS 12+
• Для detail уровня .raw рекомендован Mac Pro
• iPhone 11 или новее для съёмки (лучше с LiDAR)

Почему обычная съёмка не даёт хорошей модели?

Освещение. Фотограмметрия ненавидит резкие тени и блики. Идеал: рассеянный свет в пасмурный день или лайтбокс. Прямое солнце — жёсткие тени, которые «запекаются» в текстуру как артефакты. Глянцевые поверхности (металл, стекло, пластик с лаком) — алгоритм не восстанавливает геометрию из-за зеркального отражения. Решение: временно нанести chalk spray для матирования. Это позволяет снизить стоимость доработки модели в 5 раз.

Покрытие ракурсов. Нужны перекрывающиеся снимки с разных точек: горизонтальный ряд вокруг объекта (каждые 15°), ещё два ряда под углом 30° и 60° вверх, плюс съёмка сверху. Итого 100–200 фото для объекта среднего размера. Меньше — дыры в меше, больше — неоправданно долгая обработка. Правильная подготовка съёмки сокращает время обработки на 40%.

Как подготовить объект к сканированию?

Для однородных поверхностей используем матирующий спрей, для мелких предметов — макрорежим на iPhone, для крупных — сегментацию съёмки с перекрытием. Такая подготовка гарантирует стабильный результат без пропусков геометрии.

Пайплайн от съёмки до AR

1. Съёмка на iPhone. Используем приложения вроде Reality Composer или PolyCam — они показывают heat map покрытия в реальном времени.
2. Передача на Mac. AirDrop или iCloud Drive. Папка с HEIC/JPEG фото.
3. Обработка через Object Capture. Время: 20–60 минут для 100 фото на современном Mac.
4. Оптимизация USDZ. Выходной файл из Object Capture может весить 200–500 МБ. Для AR нужно: уменьшить полигонаж через Blender Decimate (50 000–100 000 полигонов), сжать текстуры через TextureConverter, целевой размер: 5–20 МБ.
5. Валидация и публикация. Quick Look на iPhone, проверка масштаба, загрузка на CDN.

Сравнение альтернатив на телефоне

Кейс из нашей практики

Наш клиент — антикварный магазин, 80 предметов для AR-каталога. Организовали съёмку в лайтбоксе 60×60 см на современном iPhone. Скрипт автоматической обработки: папка с фото → Object Capture → Blender Python для децимации и сжатия текстур → USDZ на CDN. Из 80 объектов 12 имели глянцевые поверхности — обрабатывали отдельно с chalk spray. Среднее время от съёмки до готовой AR-модели: 2.5 часа (включая обработку на MacBook Pro).

Что входит в организацию пайплайна

• Настройка ПО (macOS, RealityKit, Blender)
• Инструкция по съёмке (свет, ракурсы, оборудование)
• Скрипты автоматической обработки (Python + Blender)
• Обучение вашей команды (1–2 дня)
• Техническая поддержка на старте

Наш опыт

Более 5 лет опыта в мобильной AR-разработке. Собрали более 200 AR-моделей для ритейла и музеев. Помогли 5 компаниям запустить AR-каталоги. Гарантируем — 95% объектов проходят модерацию App Store без доработок. Сертификат Apple Developer. Опыт в фотограмметрии с самого старта технологии.

Сроки и стоимость

Стоимость рассчитывается индивидуально после оценки типов объектов и требуемого качества. Свяжитесь с нами для бесплатной консультации по вашему проекту.

Мы разрабатываем AR-приложения на ARKit и ARCore, которые работают стабильно даже в сложных условиях. Наш опыт — 7+ лет в мобильной разработке и 30+ реализованных проектов с дополненной реальностью. Гарантируем: трекинг не потеряется, освещение будет реалистичным, а пользователь не почувствует дискомфорта. Сертифицированные разработчики Apple и Google.

Почему трекинг теряется и как это исправить?

ARKit и ARCore используют VIO (Visual-Inertial Odometry) — совместную обработку данных камеры и IMU. Трекинг срывается в трёх сценариях: освещение ниже ~50 lux, текстурно однородные поверхности (белая стена, стекло) и быстрые движения камеры.

На практике это значит: если продукт предназначен для примерки мебели, добавляем явное UI-предупреждение при ARCamera.TrackingState.limited(.insufficientFeatures). Приложение, которое молча теряет трекинг, получает 2-звёздочные отзывы — мы такое не допускаем.

Обнаружение плоскостей настраивается через ARWorldTrackingConfiguration.planeDetection = [.horizontal, .vertical]. Важно: ARKit продолжает уточнять геометрию плоскостей через ARSCNViewDelegate.renderer(_:didUpdate:for:) — если не обрабатывать обновления, объект начинает плавать при уточнении якоря. Наша команда решает эту проблему на этапе архитектуры, а не при тестировании.

AR Foundation: кросс-платформа с нюансами

Unity AR Foundation — слой абстракции поверх ARKit и ARCore. Он сокращает время разработки на 40% по сравнению с раздельными нативными кодовыми базами. Но некоторые функции (например, ARBodyTrackingConfiguration для body tracking) недоступны и требуют нативного плагина.

Для React Native и Flutter прямой AR Foundation отсутствует. Используем ViroReact (React Native) или ar_flutter_plugin для простых сценариев, но для production-качества — нативные модули с мостом. Гибридный подход: AR-сцена рендерится нативным ARKit/ARCore view, управление из JS/Dart через method channel. Входит в нашу стандартную поставку.

Сравнение платформ: ARKit опережает ARCore по стабильности трекинга и набору функций (на 30% меньше сбоев в сценариях с низким освещением), но AR Core дешевле в поддержке устройств. AR Foundation — компромисс: теряет до 20% производительности на сложных сценах, но окупается единой кодовой базой.

Try-on: примерка товаров через AR

Примерка очков, украшений, косметики — отдельный класс задач. Здесь нужен face tracking, а не plane detection.

ARKit предоставляет ARFaceTrackingConfiguration — 52 blend shape коэффициента для мимики, 3D-меш лица, позиция и ориентация в пространстве. Работает только на устройствах с TrueDepth-камерой (iPhone с Face ID).

Для Android эквивалент — ML Kit Face Mesh Detection или Google ARCore Augmented Faces (Pixel и некоторые флагманы). Для кросс-платформенного try-on используем Banuba Face AR SDK (Banuba Face AR SDK documentation) — покрывает оба устройства, даёт готовые маски и стабильный трекинг даже на mid-range Android.

Качество try-on критически зависит от 3D-моделей товаров. Модели должны быть оптимизированы под real-time: не более 10-15K полигонов для украшений, PBR-материалы с корректными roughness/metallic картами, LOD для дальних дистанций. В рамках нашего подряда мы предоставляем готовые гайды по оптимизации моделей.

Как добиться реалистичного освещения в AR?

ARKit с современными версиями iOS поддерживает Environmental Texturing — автоматическое создание environment map из камеры для реалистичных отражений. Включается через ARWorldTrackingConfiguration.environmentTexturing = .automatic. Без этого металлические и стеклянные материалы выглядят пластиково.

ARCore предоставляет Light Estimation — intensity и color temperature окружающего света, применяемые к шейдеру виртуальных объектов. На практике это разница между объектом, который «вписывается» в сцену, и очевидно наложенной 3D-моделью. Мы гарантируем, что финальное изображение не выдаёт виртуальности.

Что входит в работу

• Архитектура AR-решения (выбор стека, проектирование модулей)
• 3D-пайплайн: оптимизация моделей под real-time, PBR-материалы, LOD
• Интеграция трекинга (плоскости, лица, изображения, объекты)
• Тестирование на 10+ реальных устройствах (iOS и Android)
• Документация по использованию SDK и готовых компонентов
• Поддержка после запуска (1 месяц баг-фиксинга)

Сроки и оценка

Простая AR-сцена с размещением одной 3D-модели на плоскости — 1–2 недели. Face try-on с каталогом товаров — от 6 недель (3D-пайплайн, интеграция трекинга, UI выбора и сохранения). Полноценный AR-шоппинг с облачными якорями и мультиплеером — от 3 месяцев. Оценим проект за 1 день — пишите, обсудим вашу AR-идею.