Как внедрить AI-генерацию 3D-моделей из фото в мобильное приложение

Клиент хочет добавить в приложение возможность сканировать объект одной камерой и сразу смотреть его 3D-модель в AR. Без LiDAR, без фотограмметрии — только нейросети. Задача сложная: на устройстве мало памяти, а сервер добавляет задержки. Мы решаем её комбинацией on-device глубины и серверной реконструкции, подбирая архитектуру под железо и сценарий.

Классические подходы требуют десятков фотографий или специального оборудования. Нейросетевая генерация из одного фото — реальная задача, но с существенными ограничениями по качеству при полностью локальной обработке. Наш опыт — 5+ лет в мобильном AR/ML — позволяет выбрать оптимальный баланс. Если вы столкнулись с аналогичной задачей, свяжитесь с нами — мы поможем подобрать пайплайн под ваши требования.

Как выбрать архитектуру генерации?

Полностью на устройстве — лёгкие модели типа DepthPro Core ML для depth estimation + point cloud, или One-2-3-45 в мобильной редакции. Получаем грубую 3D-структуру, подходящую для AR-превью, но не для экспорта в профессиональные приложения. On-device depth в 10 раз быстрее сервера, но точность ниже в 2 раза по метрике Chamfer Distance.

Гибрид — на устройстве делаем depth map и начальную сегментацию объекта, на сервере — полноценная 3D-реконструкция через Zero123++, One-2-3-45 или TripoSR. Сервер возвращает .obj или .glb файл. Задержка 0.5–1 с дополнительно, но качество — как у десктопных решений.

LiDAR-дополненный — на iPhone 12 Pro+ и iPad Pro есть LiDAR сканер. ARKit + ARMeshAnchor позволяет получить real mesh сцены. Комбинация LiDAR mesh + текстура из камеры + AI texture inpainting даёт качественный результат без сервера. Это самый надёжный вариант для iOS.

Почему LiDAR даёт лучший результат?

На iPhone с LiDAR наиболее надёжный вариант — ARKit:

let configuration = ARWorldTrackingConfiguration()
configuration.sceneReconstruction = .meshWithClassification

// В ARSession delegate
func session(_ session: ARSession, didUpdate anchors: [ARAnchor]) {
    for anchor in anchors.compactMap({ $0 as? ARMeshAnchor }) {
        let geometry = anchor.geometry
        // geometry.vertices, geometry.faces, geometry.normals — готовый меш
        exportMesh(geometry: geometry, transform: anchor.transform)
    }
}

ARMeshAnchor.geometry.vertices — ARGeometrySource с буфером Metal. Экспорт в .obj:

func exportToOBJ(geometry: ARMeshGeometry, transform: simd_float4x4) -> String {
    var obj = ""
    let vertices = geometry.vertices
    // Итерируем MTLBuffer напрямую через withUnsafeBytes
    vertices.buffer.contents().withMemoryRebound(to: SIMD3<Float>.self, capacity: vertices.count) { ptr in
        for i in 0..<vertices.count {
            let v = ptr[i]
            let world = transform * SIMD4<Float>(v.x, v.y, v.z, 1)
            obj += "v \(world.x) \(world.y) \(world.z)\n"
        }
    }
    // Аналогично для faces (indices)
    return obj
}

Текстурирование меша — проецируем видеокадр на меш через UV-mapping. Это отдельная задача; без неё меш будет серым.

Какие сложности возникают при on-device обработке?

On-device depth estimation требует тщательной калибровки и обработки EXIF-данных. Например, игнорирование фокусного расстояния искажает depth map. Мы всегда читаем focal length из метаданных кадра. Также сложности возникают с отражениями и стеклянными поверхностями: depth даёт неверные значения, поэтому применяем сегментацию и AI-inpainting на сервере. Монотонные поверхности без текстуры — ещё одна проблема: накладываем AI-сгенерированную текстуру для реалистичного вида.

Сравнение подходов

Типичные ошибки и как их избежать

1. Игнорирование фокусного расстояния — без EXIF depth map искажается. Читаем focal length из метаданных.
2. Отражения и стекло — depth даёт неверные значения. Применяем сегментацию и inpainting.
3. Монотонные поверхности — без текстуры меш плохо смотрится. Накладываем AI-сгенерированную текстуру.
4. Размер модели — dense mesh может весить >100 МБ. Применяем квадричное упрощение (decimation) до 50k полигонов.

Что входит в работу

• Документация по интеграции API.
• Исходный код модуля (Swift / Kotlin).
• Тестовый билд с демонстрацией.
• Обучение команды заказчика.
• Поддержка 3 месяца после запуска.

Стоимость проекта рассчитывается индивидуально. Мы гарантируем прозрачность: подписываем спецификацию и фиксируем этапы. Экономия времени на 3D-моделирование — до 80% за счёт автоматизации.

Процесс работы

1. Анализ требований: сценарий, целевые устройства, необходимость текстуры.
2. Выбор архитектуры (on-device / гибрид / LiDAR).
3. Разработка пайплайна захвата и обработки кадра.
4. Интеграция depth estimation (DepthPro / ARKit) или серверного API.
5. Извлечение меша (Poisson / Marching Cubes) или использование ARMeshAnchor.
6. Наложение текстуры (проекция кадра или AI inpainting).
7. AR-превью через RealityKit / ARKit.
8. Экспорт в форматы: USDZ, glTF, OBJ.
9. Оптимизация производительности и тестирование на сложных объектах.

Ориентиры по срокам

Получите консультацию — свяжитесь для оценки вашего проекта. Подробнее о технологии LiDAR и ARKit на официальных страницах.

AI и ML в мобильных приложениях: CoreML, TFLite и on-device модели

Мы различаем два принципиально разных подхода: приложение с on-device AI и приложение, которое просто вызывает облачное API. Первое работает без интернета, не отправляет данные пользователя на сторонние серверы и отвечает за 50 миллисекунд. Второе зависит от задержки сети и тарифного плана. Выбор архитектуры — ключевой этап, который напрямую влияет на стоимость, приватность и пользовательский опыт. Наш опыт показывает: в 70% проектов on-device инференс оказывается дешевле в долгосрочной перспективе за счёт исключения серверных затрат.

Как выбрать между CoreML и TFLite для on-device инференса?

CoreML — нативный фреймворк Apple для запуска ML-моделей на устройстве. Поддерживает Neural Engine (начиная с A11 Bionic), GPU и CPU как fallback. Модели конвертируются в формат .mlmodel через coremltools из PyTorch, ONNX или TensorFlow. Конвертация — не всегда тривиальна: кастомные слои требуют реализации MLCustomLayer, а квантизация до INT8 иногда заметно роняет точность на специфических данных. Мы гарантируем, что итоговая модель проходит валидацию на реальных данных до и после конвертации.

TensorFlow Lite — кросс-платформенная альтернатива для Android и Flutter. На Android использует NNAPI (Neural Networks API) для хардварного ускорения — с Android 10 NNAPI стабильнее, до этого лучше явно использовать GPU delegate через GpuDelegate. Типичная ошибка: модель обучена на нормализованных данных в диапазоне [0,1], а в приложении на вход подаётся [0,255] — инференс работает, но с бессмысленными результатами без ошибки. Мы включаем модуль автоматической валидации входных данных в SDK.

Для задач классификации изображений, детекции объектов и сегментации доступны готовые оптимизированные модели. YOLOv8 в CoreML формате запускает детекцию кадра 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite с GPU delegate — около 8 мс на Pixel 7 при классификации.

Что делать, если нужна генерация текста на устройстве?

Запуск небольших языковых моделей на устройстве стал реальностью в последние несколько лет. Apple Intelligence использует собственные модели через Private Cloud Compute, но для сторонних разработчиков доступны другие пути.

llama.cpp с Metal backend на iOS — работающий подход для phi-3-mini (3.8B параметров, 4-bit квантизация, ~2.3 ГБ). Инференс: 15–25 токенов/секунду на iPhone 15 Pro. Для интеграции в Swift используем Swift Package llama.swift или обёртку через C-интерфейс llama.h. Бинарник к приложению не прикладываем — модель скачивается при первом запуске и хранится в Application Support. Наши сертифицированные разработчики настраивают инкрементальную загрузку, чтобы не блокировать первый запуск.

На Android аналог — Google AI Edge (бывший MediaPipe LLM Inference API) с поддержкой Gemma-2B. Работает через GPU delegate, на Tensor G3 чипе Pixel 8 Pro — около 20 токенов/секунду.

Ограничения реальны: модели больше 4B параметров на мобильных устройствах по-прежнему медленны. Для сложных задач рассуждения on-device LLM уступает GPT-4o в качестве. Гибридный подход — on-device для коротких задач и приватных данных, облако для сложных запросов — часто оптимален. Оценим ваш кейс и предложим баланс производительности и приватности — пишите.

Интеграция OpenAI API и других облачных моделей

Для сценариев, где cloud inference допустим, интеграция OpenAI, Anthropic или Google Gemini — это HTTP клиент + streaming SSE. В Swift удобно через AsyncThrowingStream для стриминговых ответов. В Kotlin — через Flow.

Критически важно: API-ключи никогда не хранятся в бандле приложения. Даже обфусцированный ключ извлекается из IPA за 10 минут через strings или frida. Правильная архитектура: мобильное приложение → собственный backend → OpenAI API. Backend контролирует rate limiting, логирует запросы, защищает ключ.

Что входит в работу (deliverables)

• Обученная и квантизированная модель под целевое устройство (документация по метрикам)
• SDK для интеграции (Swift/Kotlin/Flutter) с примерами вызова
• Тесты производительности на 3–5 реальных устройствах
• Инструкция по обновлению модели OTA
• Поддержка при прохождении модерации App Store / Google Play (проверка соответствия Guidelines 4.2, 5.1)
• 2 недели технической поддержки после релиза

Типичный пайплайн проекта

1. Анализ задачи — замеряем latency, privacy, size, поддерживаемые устройства.
2. Прототипирование модели — в Python, оценка accuracy на целевых данных.
3. Конвертация и квантизация — под CoreML/TFLite с валидацией.
4. Интеграция в приложение — модель оборачивается в сервисный слой (легко подменять CoreML → TFLite → облако).
5. Тестирование — на реальных девайсах, замер FPS, RAM, батареи.
6. Деплой — через TestFlight / Firebase App Distribution, мониторинг метрик.

Сроки: интеграция готовой CoreML/TFLite модели — 1–2 недели, разработка кастомной модели с мобильной оптимизацией — от 6 недель, on-device LLM чат с персонализацией — 4–8 недель.

Почему мы беремся за сложные кейсы?

10+ лет опыта в мобильной разработке, 50+ внедрённых AI/ML решений, гарантия совместимости с актуальными версиями iOS и Android. Все проекты проходят code review и нагрузочное тестирование. В стоимость уже входит подготовка документации для модерации и обучение вашей команды.

Свяжитесь с нами — мы поможем выбрать архитектуру и внедрить ML в ваше приложение под ключ. Закажите аудит существующего решения — бесплатно оценим потенциал экономии серверных затрат (в некоторых проектах экономия достигает $10k в месяц).