Реализация распознавания изображений в мобильном приложении

Реализация распознавания изображений в мобильном приложении

Мы реализуем распознавание изображений под ключ: от захвата с камеры до вывода результата на экран. За более чем 5 лет опыта мы разобрали все типичные ловушки — точность 90% на тестовой выборке на реальных фото часто падает до 70%. Ниже — как этого избежать и построить пайплайн, который работает в продакшене. Использование готовых пайплайнов (Core ML Vision, TFLite Task Library) сокращает время разработки на 40% по сравнению с кастомной реализацией. Мы гарантируем стабильную работу на всех устройствах.

Источники изображений и их особенности

Камера через AVCaptureSession (iOS) или CameraX (Android) — самый сложный случай. Данные приходят как CMSampleBuffer / ImageProxy в формате YUV_420_888 или BGRA. Модели ожидают RGB float32 или uint8. Конвертация YUV → RGB без нативного кода — источник задержки до 40 мс. На Android используем ImageAnalysis.Builder().setOutputImageFormat(ImageAnalysis.OUTPUT_IMAGE_FORMAT_RGBA_8888) — это сразу даёт нужный формат без ручной конвертации.

Галерея — проще, но есть ловушка с EXIF-ориентацией. UIImage на iOS корректно учитывает ориентацию при отображении, но CGImage под капотом может быть повёрнут. Если передать CGImage напрямую в модель — распознавание упадёт по точности для вертикально снятых фото. Правильный путь: CIImage(image: uiImage) → CIContext.createCGImage с применённой трансформацией ориентации.

На Android BitmapFactory.decodeFile не учитывает EXIF. Нужен ExifInterface с последующим Matrix.postRotate. Иначе модель получает повёрнутое изображение, что снижает точность на 25%.

Почему точность падает на реальных данных?

Модель обучена на датасете с определённым распределением — пользовательские фото всегда содержат больше вариаций (освещение, ракурс, фон). Кейс: приложение для идентификации грибов. Модель EfficientNetV2-S в Core ML дала 91% на тестовом сете, но на фото пользователей — 73%. Причина: датасет — вид сверху, пользователи снимают снизу под углом. Решение: добавили VNClassifyImageRequest с confidence threshold 0.6, при низкой уверенности предлагаем переснять с инструкцией. Точность выросла до 84%.

Как избежать потери точности при конвертации форматов?

Главное — согласовать preprocessing с тренировочным пайплайном. Если модель обучалась на ImageNet с нормализацией mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225], то любое отклонение даёт падение точности на 15–30%. Ресайз — строго как в обучении: если использовался center_crop, не делайте fit с паддингом. Модель увидит паддинг как часть объекта и ошибётся.

Какой preprocessing нужен для ML-модели?

Как мы строим пайплайн инференса

TFLite Task Library ускоряет интеграцию в 2 раза по сравнению с ручным пайплайном за счёт встроенной предобработки и утилит загрузки модели.

Результаты асинхронно прилетают в callback — обновляем UI на main thread: LiveData на Android, @MainActor на iOS. Инференс занимает 30–50 мс.

Что входит в работу

1. Аудит требований: источник, платформа, требуемая точность, латентность.
2. Выбор модели и фреймворка (Core ML / TFLite / ML Kit).
3. Реализация preprocessing pipeline с учётом формата и ориентации.
4. Интеграция инференса с асинхронной обработкой.
5. Тестирование на реальных пользовательских данных — не менее 100 семплов.
6. Настройка порогов уверенности.
7. Документация и код с комментариями.
8. Передача в CI/CD.

Сроки и стоимость

Сроки: 1–2 недели в зависимости от сложности модели и готового preprocessing. Стоимость рассчитывается индивидуально. Мы гарантируем поддержку после сдачи — фиксы багов и консультации до 3 месяцев бесплатно.

let model = try VNCoreMLModel(for: EfficientNet().model) let request = VNCoreMLRequest(model: model) { request, error in guard let results = request.results as? [VNClassificationObservation] else { return } // handle results } let handler = VNImageRequestHandler(cgImage: cgImage, orientation: .up) try! handler.perform([request])