ML Kit для мобильных приложений: интеграция и оптимизация
Мы интегрируем ML Kit Google в мобильные приложения для распознавания текста, лиц, объектов и других AI-функций. На практике клиенты часто приходят с задачей: «Нужен сканер чеков, который работает на Android и iOS с точностью >95%». За кажущейся простотой ML Kit скрываются нюансы, которые выясняются только в продакшне — от поворота изображения до разницы в скорости на бюджетных устройствах. Мы собрали реальный опыт внедрения, чтобы вы не наступали на те же грабли.
Частые проблемы при работе с ML Kit
Готовые API (Text Recognition v2, Face Detection, Barcode Scanning) работают корректно, если соблюдать требования к входному изображению. Face Detection с FaceDetectorOptions.PerformanceMode.ACCURATE на Android возвращает результаты за 80–150 ms на Pixel 6, но на бюджетных устройствах с Snapdragon 680 — уже 400+ ms. Если использовать FAST-режим, точность падает при повороте головы больше 30°.
На iOS MLKitFaceDetection через VisionImage(image:) теряет ориентацию изображения, если не выставить image.orientation явно из UIImage.imageOrientation. Краш не происходит — просто лица не детектируются, когда телефон повёрнут горизонтально.
С кастомными TFLite-моделями через CustomImageLabeler важно правильно упаковать metadata. Без TFLiteMetadataHelper модель не знает нормализацию входа — нужно либо добавить metadata через flatbuffers, либо указывать нормализацию вручную через CustomRemoteModel options.
Почему on-device часто выгоднее cloud?
On-Device работает офлайн, быстрее и без затрат на API-вызовы. Cloud — точнее для сложных случаев (многоязычный OCR, нестандартные шрифты). Для большинства B2C-приложений оптимальна гибридная схема: on-device как основной путь, cloud как fallback при низкой уверенности. Так мы получили 94% точность на стандартных чеках без доплат за облачные запросы.
Как мы внедряем ML Kit: кейс распознавания чеков
Кейс из практики: приложение для сканирования чеков. ML Kit Text Recognition v2 on-device давал 94% точность на стандартных кассовых чеках, но на термобумаге с выцветшим текстом — 67%. Добавили preprocessing через CIFilter (повышение контраста, binarization) перед передачей в VisionImage — точность выросла до 89% без перехода в Cloud API.
Для Android интеграция идёт через BarcodeScanning.getClient() или TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS). Модели скачиваются автоматически через Play Services при первом запуске — это нужно учитывать в UX: первый инференс может занять несколько секунд, пока модель не загружена. Используем ModuleInstallClient для явного preload при onboarding.
Для кастомных моделей — FirebaseModelDownloader с ModelDownloadType.LOCAL_MODEL_UPDATE_IN_BACKGROUND. Модель обновляется в фоне, приложение использует текущую версию до следующего запуска.
Как избежать типичных ошибок интеграции?
- Всегда проверяйте
image.orientationна iOS — иначе детекция лица сломается при смене ориентации телефона. - На Android используйте
ModuleInstallClientдля предварительной загрузки моделей, чтобы избежать задержки первого инференса. - Для кастомных TFLite-моделей обязательно упаковывайте metadata через
TFLiteMetadataHelper, иначе нормализация будет неверной. - Тестируйте на 5-10 реальных устройствах разных производителей — скорость инференса может отличаться в 3 раза.
- Внедряйте fallback-логику: при низкой уверенности on-device отправляйте запрос в Cloud API (если задача критична).
Поддерживаемые API ML Kit
| API | Режим | Платформы |
|---|---|---|
| Text Recognition v2 | On-Device | Android, iOS |
| Face Detection | On-Device | Android, iOS |
| Barcode Scanning | On-Device | Android, iOS |
| Image Labeling | On-Device + Cloud | Android, iOS |
| Object Detection & Tracking | On-Device | Android, iOS |
| Translation | On-Device | Android, iOS |
| Custom Model (TFLite) | On-Device | Android, iOS |
Что входит в интеграцию ML Kit
Мы передаём полный пакет результатов:
- Аудит текущей архитектуры и выбор оптимального API (готовый vs кастомный)
- Интеграция SDK ML Kit с настройкой предобработки изображений
- Тестирование на 10+ устройствах (разные версии ОС, производители)
- Документация интеграции и конфигурации
- Обучение команды работе с моделями
- Гарантия на 6 месяцев после сдачи
Процесс и сроки
Аудит требований → выбор API (готовый vs кастомный) → интеграция SDK → настройка preprocessing → тестирование на целевых устройствах → настройка мониторинга точности в продакшне.
Интеграция одного готового API (например, Barcode Scanning или Face Detection) — 2–4 рабочих дня. Кастомная TFLite-модель с preprocessing и fallback-логикой — 1–2 недели. Стоимость рассчитывается индивидуально.
Мы реализовали ML Kit в 15+ проектах, включая финтех и ритейл, и гарантируем точность не менее 90% на этапе приёмки. Свяжитесь с нами для оценки вашего проекта — подберём оптимальное решение под ваши задачи.