AI-3D-реконструкция по фото (NeRF) в мобильном приложении

Создание 3D-модели по фотографиям прямо на мобильном устройстве — задача, которая ещё недавно казалась фантастикой. Сегодня, благодаря NeRF и 3D Gaussian Splatting, это реально. Большинство решений для фотограмметрии требуют мощных десктопных GPU и не адаптированы под мобильный UX — мы закрываем этот разрыв, предлагая готовый пайплайн с guided capture и облачной обработкой. Мы разрабатываем такие решения под ключ для iOS и Android. Наш опыт — 5+ лет в мобильной разработке и 30+ проектов по компьютерному зрению. Гарантируем точность реконструкции и полную поддержку на всех этапах. Закажите разработку прямо сейчас — получите решение, готовое к публикации.

Какую проблему мы решаем?

Ручное моделирование 3D-объектов занимает часы и требует навыков. Автоматическая реконструкция часто даёт артефакты из-за плохого покрытия или низкого качества снимков. Мы устраняем эти проблемы с помощью guided capture и оптимизированного пайплайна на базе NeRF и 3D Gaussian Splatting. Пользователь просто обходит объект, следуя подсказкам, а остальное делает наша система. Особенно сложны сцены с бликующими или однородными поверхностями — для них мы используем адаптивную стратегию съёмки.

Что выбрать: NeRF, Gaussian Splatting или фотограмметрия?

Три технологии решают одну задачу: 3D-объект из фотографий. Разница принципиальная:

Для мобильных приложений сегодня 3D Gaussian Splatting — лучший баланс скорости и качества. Он в 3–5 раз быстрее классического NeRF при сопоставимом качестве. Для быстрого превью в AR подходит фотограмметрия с современным COLMAP-пайплайном.

Как работает 3D-реконструкция на мобильном?

On-device reconstruction возможна только в ограниченных сценариях (например, Apple Object Capture API — только на Mac с Apple Silicon). Практичная архитектура для мобильного:

1. Съёмка с подсказками — guided capture с AR-оверлеем (ARKit/ARCore) собирает 20–60 фото и метаданные camera poses.
2. Валидация на устройстве — проверка покрытия, резкости, количества кадров.
3. Загрузка в облако — сжатые изображения и метаданные отправляются на GPU-инстанс.
4. Построение облака точек — COLMAP SfM (если нет poses) или импорт метаданных.
5. Обучение 3D Gaussian Splatting — 10–40 минут на T4/A100.
6. Экспорт — .glb для AR Quick Look, .splat для web-просмотра.
7. AR-просмотр — загрузка модели и рендер через RealityKit/SceneViewer.

Guided capture на iOS с ARKit

Ключевой UX: пользователь должен обойти объект правильно, иначе реконструкция будет с артефактами.

class GuidedCaptureSession: NSObject {

    private var arSession: ARSession
    private var capturedFrames: [(UIImage, simd_float4x4)] = []  // image + camera transform
    private let targetFrameCount = 40
    private let minAngleBetweenFrames: Float = 8.0  // градусы

    func shouldCaptureFrame(currentTransform: simd_float4x4) -> Bool {
        guard let lastTransform = capturedFrames.last?.1 else { return true }

        // Угловое расстояние от последнего захваченного кадра
        let angularDistance = computeAngularDistance(currentTransform, lastTransform)
        return angularDistance >= minAngleBetweenFrames
    }

    var captureProgress: Float {
        // Оцениваем покрытие орбиты вокруг объекта
        let coveredAngles = estimateOrbitCoverage(capturedFrames.map { $0.1 })
        return min(coveredAngles / 360.0, 1.0)
    }
}

AR-оверлей показывает «орбиту» вокруг объекта: зелёные дуги — уже снятые ракурсы, серые — нужно снять. Это снижает процент неудачных реконструкций из-за неполного покрытия.

Требования к качеству снимков — ai 3d реконструкция

До отправки в облако — базовая валидация на устройстве:

func validateCaptureSet(_ frames: [(UIImage, simd_float4x4)]) -> ValidationResult {
    // Минимальное количество кадров
    guard frames.count >= 20 else {
        return .insufficientFrames(current: frames.count, required: 20)
    }

    // Покрытие углов (нужно хотя бы 270° из 360°)
    let orbitCoverage = estimateOrbitCoverage(frames.map { $0.1 })
    guard orbitCoverage >= 0.75 else {
        return .insufficientCoverage(coverage: orbitCoverage)
    }

    // Средняя резкость кадров
    let avgSharpness = frames.map { sharpnessScore($0.0) }.reduce(0, +) / Float(frames.count)
    guard avgSharpness >= 60.0 else {
        return .blurryImages
    }

    return .valid
}

Backend: обучение 3D Gaussian Splatting

Метаданные ARKit (camera poses) — упрощают COLMAP SfM, сокращая время обработки. Если poses отсутствуют, запускаем SfM из nerfstudio.

# nerfstudio + gsplat pipeline
from nerfstudio.cameras.cameras import CameraType
from nerfstudio.pipelines.base_pipeline import Pipeline

def run_gaussian_splatting(
    images_dir: Path,
    camera_poses: list[np.ndarray] | None = None,
    output_dir: Path = Path("output")
) -> Path:
    """
    Если camera_poses переданы (из ARKit) — пропускаем COLMAP SfM.
    Это сокращает время обработки с 15-20 мин до 3-5 мин.
    """

    config = SplatfactoModelConfig(
        num_downscales=2,       # уменьшаем для скорости
        use_scale_regularization=True,
        max_gauss_ratio=10.0,
    )

    trainer = Trainer(config, output_dir=output_dir)
    trainer.train()  # ~10-40 мин на GPU (A100: 10 мин, T4: 25 мин)

    # Экспорт в web-friendly формат
    export_gaussian_splat(output_dir / "splat.ply")
    export_glb(output_dir / "model.glb")  # для AR Quick Look / SceneViewer

    return output_dir

Отображение результата в AR

// iOS: RealityKit Quick Look для .usdz / .glb
import RealityKit
import ARKit

class ModelViewerViewController: UIViewController {

    func presentARModel(modelURL: URL) {
        let arView = ARView(frame: view.bounds, cameraMode: .ar)

        let anchor = AnchorEntity(plane: .horizontal)
        ModelEntity.loadModelAsync(contentsOf: modelURL)
            .sink(
                receiveCompletion: { _ in },
                receiveValue: { [weak self] entity in
                    entity.generateCollisionShapes(recursive: true)
                    anchor.addChild(entity)
                    arView.scene.anchors.append(anchor)
                    // Pinch to scale, pan to move
                    arView.installGestures([.scale, .translation, .rotation], for: entity)
                }
            )
            .store(in: &cancellables)
    }
}

Сроки и что входит в работу

Отметим: что входит: полная документация, исходные коды, инструкция по развёртыванию облачного сервиса, поддержка на 3 месяца.

Почему стоит доверить разработку нам?

Мы сертифицированные специалисты по iOS и Android. За 5+ лет реализовали 30+ проектов с компьютерным зрением и AR. Гарантируем соблюдение App Store Review Guidelines (Section 4.2/5.1) и стабильную работу с push-уведомлениями, deep linking и in-app purchase. Предоставляем полный цикл: от идеи до публикации. Получите консультацию инженера — мы поможем выбрать оптимальный пайплайн для вашей задачи.

Свяжитесь с нами — оценим ваш проект в течение дня. Ответим на вопросы и предложим оптимальное решение под ключ.

AI и ML в мобильных приложениях: CoreML, TFLite и on-device модели

Мы различаем два принципиально разных подхода: приложение с on-device AI и приложение, которое просто вызывает облачное API. Первое работает без интернета, не отправляет данные пользователя на сторонние серверы и отвечает за 50 миллисекунд. Второе зависит от задержки сети и тарифного плана. Выбор архитектуры — ключевой этап, который напрямую влияет на стоимость, приватность и пользовательский опыт. Наш опыт показывает: в 70% проектов on-device инференс оказывается дешевле в долгосрочной перспективе за счёт исключения серверных затрат.

Как выбрать между CoreML и TFLite для on-device инференса?

CoreML — нативный фреймворк Apple для запуска ML-моделей на устройстве. Поддерживает Neural Engine (начиная с A11 Bionic), GPU и CPU как fallback. Модели конвертируются в формат .mlmodel через coremltools из PyTorch, ONNX или TensorFlow. Конвертация — не всегда тривиальна: кастомные слои требуют реализации MLCustomLayer, а квантизация до INT8 иногда заметно роняет точность на специфических данных. Мы гарантируем, что итоговая модель проходит валидацию на реальных данных до и после конвертации.

TensorFlow Lite — кросс-платформенная альтернатива для Android и Flutter. На Android использует NNAPI (Neural Networks API) для хардварного ускорения — с Android 10 NNAPI стабильнее, до этого лучше явно использовать GPU delegate через GpuDelegate. Типичная ошибка: модель обучена на нормализованных данных в диапазоне [0,1], а в приложении на вход подаётся [0,255] — инференс работает, но с бессмысленными результатами без ошибки. Мы включаем модуль автоматической валидации входных данных в SDK.

Для задач классификации изображений, детекции объектов и сегментации доступны готовые оптимизированные модели. YOLOv8 в CoreML формате запускает детекцию кадра 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite с GPU delegate — около 8 мс на Pixel 7 при классификации.

Что делать, если нужна генерация текста на устройстве?

Запуск небольших языковых моделей на устройстве стал реальностью в последние несколько лет. Apple Intelligence использует собственные модели через Private Cloud Compute, но для сторонних разработчиков доступны другие пути.

llama.cpp с Metal backend на iOS — работающий подход для phi-3-mini (3.8B параметров, 4-bit квантизация, ~2.3 ГБ). Инференс: 15–25 токенов/секунду на iPhone 15 Pro. Для интеграции в Swift используем Swift Package llama.swift или обёртку через C-интерфейс llama.h. Бинарник к приложению не прикладываем — модель скачивается при первом запуске и хранится в Application Support. Наши сертифицированные разработчики настраивают инкрементальную загрузку, чтобы не блокировать первый запуск.

На Android аналог — Google AI Edge (бывший MediaPipe LLM Inference API) с поддержкой Gemma-2B. Работает через GPU delegate, на Tensor G3 чипе Pixel 8 Pro — около 20 токенов/секунду.

Ограничения реальны: модели больше 4B параметров на мобильных устройствах по-прежнему медленны. Для сложных задач рассуждения on-device LLM уступает GPT-4o в качестве. Гибридный подход — on-device для коротких задач и приватных данных, облако для сложных запросов — часто оптимален. Оценим ваш кейс и предложим баланс производительности и приватности — пишите.

Интеграция OpenAI API и других облачных моделей

Для сценариев, где cloud inference допустим, интеграция OpenAI, Anthropic или Google Gemini — это HTTP клиент + streaming SSE. В Swift удобно через AsyncThrowingStream для стриминговых ответов. В Kotlin — через Flow.

Критически важно: API-ключи никогда не хранятся в бандле приложения. Даже обфусцированный ключ извлекается из IPA за 10 минут через strings или frida. Правильная архитектура: мобильное приложение → собственный backend → OpenAI API. Backend контролирует rate limiting, логирует запросы, защищает ключ.

Что входит в работу (deliverables)

• Обученная и квантизированная модель под целевое устройство (документация по метрикам)
• SDK для интеграции (Swift/Kotlin/Flutter) с примерами вызова
• Тесты производительности на 3–5 реальных устройствах
• Инструкция по обновлению модели OTA
• Поддержка при прохождении модерации App Store / Google Play (проверка соответствия Guidelines 4.2, 5.1)
• 2 недели технической поддержки после релиза

Типичный пайплайн проекта

1. Анализ задачи — замеряем latency, privacy, size, поддерживаемые устройства.
2. Прототипирование модели — в Python, оценка accuracy на целевых данных.
3. Конвертация и квантизация — под CoreML/TFLite с валидацией.
4. Интеграция в приложение — модель оборачивается в сервисный слой (легко подменять CoreML → TFLite → облако).
5. Тестирование — на реальных девайсах, замер FPS, RAM, батареи.
6. Деплой — через TestFlight / Firebase App Distribution, мониторинг метрик.

Сроки: интеграция готовой CoreML/TFLite модели — 1–2 недели, разработка кастомной модели с мобильной оптимизацией — от 6 недель, on-device LLM чат с персонализацией — 4–8 недель.

Почему мы беремся за сложные кейсы?

10+ лет опыта в мобильной разработке, 50+ внедрённых AI/ML решений, гарантия совместимости с актуальными версиями iOS и Android. Все проекты проходят code review и нагрузочное тестирование. В стоимость уже входит подготовка документации для модерации и обучение вашей команды.

Свяжитесь с нами — мы поможем выбрать архитектуру и внедрить ML в ваше приложение под ключ. Закажите аудит существующего решения — бесплатно оценим потенциал экономии серверных затрат (в некоторых проектах экономия достигает $10k в месяц).