Как внедрить AI-генерацию 3D-моделей из фото в мобильное приложение

Клиент хочет добавить в приложение возможность сканировать объект одной камерой и сразу смотреть его 3D-модель в AR. Без LiDAR, без фотограмметрии — только нейросети. Задача сложная: на устройстве мало памяти, а сервер добавляет задержки. Мы решаем её комбинацией on-device глубины и серверной реконструкции, подбирая архитектуру под железо и сценарий.

Классические подходы требуют десятков фотографий или специального оборудования. Нейросетевая генерация из одного фото — реальная задача, но с существенными ограничениями по качеству при полностью локальной обработке. Наш опыт — 5+ лет в мобильном AR/ML — позволяет выбрать оптимальный баланс. Если вы столкнулись с аналогичной задачей, свяжитесь с нами — мы поможем подобрать пайплайн под ваши требования.

Как выбрать архитектуру генерации?

Полностью на устройстве — лёгкие модели типа DepthPro Core ML для depth estimation + point cloud, или One-2-3-45 в мобильной редакции. Получаем грубую 3D-структуру, подходящую для AR-превью, но не для экспорта в профессиональные приложения. On-device depth в 10 раз быстрее сервера, но точность ниже в 2 раза по метрике Chamfer Distance.

Гибрид — на устройстве делаем depth map и начальную сегментацию объекта, на сервере — полноценная 3D-реконструкция через Zero123++, One-2-3-45 или TripoSR. Сервер возвращает .obj или .glb файл. Задержка 0.5–1 с дополнительно, но качество — как у десктопных решений.

LiDAR-дополненный — на iPhone 12 Pro+ и iPad Pro есть LiDAR сканер. ARKit + ARMeshAnchor позволяет получить real mesh сцены. Комбинация LiDAR mesh + текстура из камеры + AI texture inpainting даёт качественный результат без сервера. Это самый надёжный вариант для iOS.

Почему LiDAR даёт лучший результат?

На iPhone с LiDAR наиболее надёжный вариант — ARKit:

let configuration = ARWorldTrackingConfiguration() configuration.sceneReconstruction = .meshWithClassification // В ARSession delegate func session(_ session: ARSession, didUpdate anchors: [ARAnchor]) { for anchor in anchors.compactMap({ $0 as? ARMeshAnchor }) { let geometry = anchor.geometry // geometry.vertices, geometry.faces, geometry.normals — готовый меш exportMesh(geometry: geometry, transform: anchor.transform) } } 

ARMeshAnchor.geometry.vertices — ARGeometrySource с буфером Metal. Экспорт в .obj:

func exportToOBJ(geometry: ARMeshGeometry, transform: simd_float4x4) -> String { var obj = "" let vertices = geometry.vertices // Итерируем MTLBuffer напрямую через withUnsafeBytes vertices.buffer.contents().withMemoryRebound(to: SIMD3<Float>.self, capacity: vertices.count) { ptr in for i in 0..<vertices.count { let v = ptr[i] let world = transform * SIMD4<Float>(v.x, v.y, v.z, 1) obj += "v \(world.x) \(world.y) \(world.z)\n" } } // Аналогично для faces (indices) return obj } 

Текстурирование меша — проецируем видеокадр на меш через UV-mapping. Это отдельная задача; без неё меш будет серым.

Какие сложности возникают при on-device обработке?

On-device depth estimation требует тщательной калибровки и обработки EXIF-данных. Например, игнорирование фокусного расстояния искажает depth map. Мы всегда читаем focal length из метаданных кадра. Также сложности возникают с отражениями и стеклянными поверхностями: depth даёт неверные значения, поэтому применяем сегментацию и AI-inpainting на сервере. Монотонные поверхности без текстуры — ещё одна проблема: накладываем AI-сгенерированную текстуру для реалистичного вида.

Сравнение подходов

Типичные ошибки и как их избежать

1. Игнорирование фокусного расстояния — без EXIF depth map искажается. Читаем focal length из метаданных.
2. Отражения и стекло — depth даёт неверные значения. Применяем сегментацию и inpainting.
3. Монотонные поверхности — без текстуры меш плохо смотрится. Накладываем AI-сгенерированную текстуру.
4. Размер модели — dense mesh может весить >100 МБ. Применяем квадричное упрощение (decimation) до 50k полигонов.

Что входит в работу

• Документация по интеграции API.
• Исходный код модуля (Swift / Kotlin).
• Тестовый билд с демонстрацией.
• Обучение команды заказчика.
• Поддержка 3 месяца после запуска.

Стоимость проекта рассчитывается индивидуально. Мы гарантируем прозрачность: подписываем спецификацию и фиксируем этапы. Экономия времени на 3D-моделирование — до 80% за счёт автоматизации.

Процесс работы

1. Анализ требований: сценарий, целевые устройства, необходимость текстуры.
2. Выбор архитектуры (on-device / гибрид / LiDAR).
3. Разработка пайплайна захвата и обработки кадра.
4. Интеграция depth estimation (DepthPro / ARKit) или серверного API.
5. Извлечение меша (Poisson / Marching Cubes) или использование ARMeshAnchor.
6. Наложение текстуры (проекция кадра или AI inpainting).
7. AR-превью через RealityKit / ARKit.
8. Экспорт в форматы: USDZ, glTF, OBJ.
9. Оптимизация производительности и тестирование на сложных объектах.

Ориентиры по срокам

Получите консультацию — свяжитесь для оценки вашего проекта. Подробнее о технологии LiDAR и ARKit на официальных страницах.