Реализация детекции объектов на iOS и Android: YOLO, TFLite, трекинг

Реализуем детекцию объектов в мобильных приложениях — не просто поиск объектов, а трекинг между кадрами, проекцию bounding box на превью-слой, обработку перекрытий и поддержку 30 FPS. Режим реального времени на мобильном устройстве — сложный компромисс: модель должна выдавать детекцию за 20–30 мс, чтобы не ронять FPS, но при этом не перегревать процессор и не сажать батарею. Приходится учитывать версию ОС, доступные делегаты (GPU, NNAPI, Core ML), и порог отбраковки по уверенности. Мы решаем эту задачу: от выбора архитектуры (YOLO, SSD, NanoDet) до финальной обвязки с трекингом, проекцией и публикацией в сторах. Ниже — конкретные приёмы, которые мы применяем в проектах.

Как выбрать модель для мобильной детекции?

Выбор модели зависит от целевого FPS, поддерживаемого оборудования и требований к точности. Рассмотрим три популярные архитектуры: MobileNet SSD, YOLOv8n и NanoDet. MobileNet SSD — баланс скорости и точности, хорошо оптимизирован для TFLite, поддерживает квантизацию до int8. YOLOv8n даёт лучшее качество (mAP 37+) за счёт более глубокой архитектуры, но требует GPU-делегата для комфортной работы. NanoDet — лёгкая модель для слабых устройств без GPU, но точность ограничена.

Датасет COCO (Lin et al.) показывает, что YOLOv8n даёт на 30% выше mAP по сравнению с MobileNet SSD при сопоставимой задержке. YOLO остаётся стандартом для реального времени. NanoDet, напротив, проигрывает по точности, но в 2 раза быстрее на слабых устройствах.

Почему трекинг критичен для детекции объектов?

Детектировать на каждом кадре дорого. Правильный подход: детекция раз в N кадров (обычно каждые 5–10), между кадрами — трекинг через SORT или ByteTrack, либо встроенный VNDetectRectanglesRequest с ObjectTrackerObservation на iOS. ML Kit Object Detection & Tracking поддерживает трекинг из коробки через .enableMultipleObjects() и .enableClassification(). Каждый трекируемый объект получает стабильный trackingID — это позволяет показывать информацию об объекте без мерцания при потере/появлении в кадре.

NMS (Non-Maximum Suppression) — важный параметр. По умолчанию iouThreshold = 0.5. Если объекты в кадре перекрываются (например, упакованные товары на конвейере), порог нужно снижать до 0.3–0.35. Иначе детектор "склеивает" соседние объекты в один. Рекомендуемые пороги:

Как настроить проекцию bounding box под iOS и Android?

Самая частая визуальная ошибка — bounding box не совпадает с объектом на превью. Причина: модель получает ресайзнутое изображение (например, 320×320), а превью камеры — 1920×1080 с AspectFill или AspectFit. Координаты нужно пересчитать с учётом масштаба и отступов.

На iOS с AVCaptureVideoPreviewLayer:

let converted = previewLayer.layerRectConverted(fromMetadataOutputRect: normalizedRect)

VNDetectedObjectObservation возвращает boundingBox в нормализованных координатах (0..1, y снизу). Перед проекцией на UIKit-координаты нужно инвертировать Y-ось: CGRect(x: box.minX, y: 1 - box.maxY, width: box.width, height: box.height). Документация Apple AVCaptureVideoPreviewLayer объясняет этот процесс.

На Android с CameraX + ImageAnalysis: результаты детекции в координатах входного изображения, превью — в координатах PreviewView. Используем MappingUtils из ML Kit или считаем трансформацию вручную через матрицу.

Как достичь 30 FPS?

Кроме выбора модели, важны квантизация (int8 vs float), выбор делегата (GPU, NNAPI, Core ML) и частота детекций. На iOS с Core ML используем .computUnit = .gpuAndNeuralEngine. На Android — GPUDelegate с PrecisionLossAllowed. Для слабых устройств — NNAPI. Тестируем на реальных устройствах, замеряем FPS и температуру процессора. Гарантируем стабильные 30 FPS на флагманах и 15–20 FPS на средних устройствах.

Наш опыт и гарантии

За 5+ лет работы мы реализовали детекцию объектов в 50+ проектах — от ритейла (подсчёт товаров на полке) до безопасности (детекция людей и транспорта). Наши инженеры хорошо знакомы с требованиями App Store Review Guidelines (Section 4.2, 5.1) и Google Play для приложений с камерой, что упрощает публикацию. Также мы гарантируем поддержку после интеграции: отвечаем на вопросы, правим баги, помогаем с дообучением моделей.

Что входит в работу

• Выбор и адаптация детекторной модели под ваше устройство (iOS/Android)
• Интеграция с камерой (CameraX, AVCaptureSession)
• Корректная проекция bounding box на превью
• Настройка трекинга и NMS
• Тестирование на реальных устройствах и оптимизация до 30 FPS
• Подготовка документации и рекомендации по публикации в сторах

Процесс работы

1. Аналитика: изучаем ваши сценарии и целевые устройства.
2. Проектирование: выбираем архитектуру модели, делегат и параметры постпроцессинга.
3. Реализация: интегрируем модель с камерой, настраиваем проекцию и трекинг.
4. Тестирование: замеряем FPS, точность, энергопотребление на 5+ устройствах.
5. Деплой: готовим сборку, документацию и помогаем с публикацией в App Store и Google Play.

Сроки и как начать

Интеграция готовой модели с проекцией и тюнингом — 1–2 недели. Дообучение на кастомных классах — ещё 1–2 недели. Оценим ваш проект бесплатно — напишите нам. Получите консультацию по детекции объектов в вашем приложении. Свяжитесь с нами, чтобы обсудить ваш сценарий.

AI и ML в мобильных приложениях: CoreML, TFLite и on-device модели

Мы различаем два принципиально разных подхода: приложение с on-device AI и приложение, которое просто вызывает облачное API. Первое работает без интернета, не отправляет данные пользователя на сторонние серверы и отвечает за 50 миллисекунд. Второе зависит от задержки сети и тарифного плана. Выбор архитектуры — ключевой этап, который напрямую влияет на стоимость, приватность и пользовательский опыт. Наш опыт показывает: в 70% проектов on-device инференс оказывается дешевле в долгосрочной перспективе за счёт исключения серверных затрат.

Как выбрать между CoreML и TFLite для on-device инференса?

CoreML — нативный фреймворк Apple для запуска ML-моделей на устройстве. Поддерживает Neural Engine (начиная с A11 Bionic), GPU и CPU как fallback. Модели конвертируются в формат .mlmodel через coremltools из PyTorch, ONNX или TensorFlow. Конвертация — не всегда тривиальна: кастомные слои требуют реализации MLCustomLayer, а квантизация до INT8 иногда заметно роняет точность на специфических данных. Мы гарантируем, что итоговая модель проходит валидацию на реальных данных до и после конвертации.

TensorFlow Lite — кросс-платформенная альтернатива для Android и Flutter. На Android использует NNAPI (Neural Networks API) для хардварного ускорения — с Android 10 NNAPI стабильнее, до этого лучше явно использовать GPU delegate через GpuDelegate. Типичная ошибка: модель обучена на нормализованных данных в диапазоне [0,1], а в приложении на вход подаётся [0,255] — инференс работает, но с бессмысленными результатами без ошибки. Мы включаем модуль автоматической валидации входных данных в SDK.

Для задач классификации изображений, детекции объектов и сегментации доступны готовые оптимизированные модели. YOLOv8 в CoreML формате запускает детекцию кадра 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite с GPU delegate — около 8 мс на Pixel 7 при классификации.

Что делать, если нужна генерация текста на устройстве?

Запуск небольших языковых моделей на устройстве стал реальностью в последние несколько лет. Apple Intelligence использует собственные модели через Private Cloud Compute, но для сторонних разработчиков доступны другие пути.

llama.cpp с Metal backend на iOS — работающий подход для phi-3-mini (3.8B параметров, 4-bit квантизация, ~2.3 ГБ). Инференс: 15–25 токенов/секунду на iPhone 15 Pro. Для интеграции в Swift используем Swift Package llama.swift или обёртку через C-интерфейс llama.h. Бинарник к приложению не прикладываем — модель скачивается при первом запуске и хранится в Application Support. Наши сертифицированные разработчики настраивают инкрементальную загрузку, чтобы не блокировать первый запуск.

На Android аналог — Google AI Edge (бывший MediaPipe LLM Inference API) с поддержкой Gemma-2B. Работает через GPU delegate, на Tensor G3 чипе Pixel 8 Pro — около 20 токенов/секунду.

Ограничения реальны: модели больше 4B параметров на мобильных устройствах по-прежнему медленны. Для сложных задач рассуждения on-device LLM уступает GPT-4o в качестве. Гибридный подход — on-device для коротких задач и приватных данных, облако для сложных запросов — часто оптимален. Оценим ваш кейс и предложим баланс производительности и приватности — пишите.

Интеграция OpenAI API и других облачных моделей

Для сценариев, где cloud inference допустим, интеграция OpenAI, Anthropic или Google Gemini — это HTTP клиент + streaming SSE. В Swift удобно через AsyncThrowingStream для стриминговых ответов. В Kotlin — через Flow.

Критически важно: API-ключи никогда не хранятся в бандле приложения. Даже обфусцированный ключ извлекается из IPA за 10 минут через strings или frida. Правильная архитектура: мобильное приложение → собственный backend → OpenAI API. Backend контролирует rate limiting, логирует запросы, защищает ключ.

Что входит в работу (deliverables)

• Обученная и квантизированная модель под целевое устройство (документация по метрикам)
• SDK для интеграции (Swift/Kotlin/Flutter) с примерами вызова
• Тесты производительности на 3–5 реальных устройствах
• Инструкция по обновлению модели OTA
• Поддержка при прохождении модерации App Store / Google Play (проверка соответствия Guidelines 4.2, 5.1)
• 2 недели технической поддержки после релиза

Типичный пайплайн проекта

1. Анализ задачи — замеряем latency, privacy, size, поддерживаемые устройства.
2. Прототипирование модели — в Python, оценка accuracy на целевых данных.
3. Конвертация и квантизация — под CoreML/TFLite с валидацией.
4. Интеграция в приложение — модель оборачивается в сервисный слой (легко подменять CoreML → TFLite → облако).
5. Тестирование — на реальных девайсах, замер FPS, RAM, батареи.
6. Деплой — через TestFlight / Firebase App Distribution, мониторинг метрик.

Сроки: интеграция готовой CoreML/TFLite модели — 1–2 недели, разработка кастомной модели с мобильной оптимизацией — от 6 недель, on-device LLM чат с персонализацией — 4–8 недель.

Почему мы беремся за сложные кейсы?

10+ лет опыта в мобильной разработке, 50+ внедрённых AI/ML решений, гарантия совместимости с актуальными версиями iOS и Android. Все проекты проходят code review и нагрузочное тестирование. В стоимость уже входит подготовка документации для модерации и обучение вашей команды.

Свяжитесь с нами — мы поможем выбрать архитектуру и внедрить ML в ваше приложение под ключ. Закажите аудит существующего решения — бесплатно оценим потенциал экономии серверных затрат (в некоторых проектах экономия достигает $10k в месяц).