Классификация объектов в мобильном приложении
Мы интегрируем классификацию объектов в мобильное приложение под ключ. В отличие от детекции, модель выдает один вектор вероятностей по классам. Кажется проще, но именно здесь разработчики чаще всего допускают ошибки: неправильно выбирают порог уверенности, игнорируют пост-обработку и забывают про UX. В этой статье разбираем, как избежать этих проблем и сделать классификацию надежной и удобной для пользователя. Опыт с Core ML, ML Kit, EfficientNet — более 5 лет в мобильной разработке.
Как выбрать модель для классификации?
Для топ-1000 классов (продукты, животные, объекты быта) подойдут MobileNetV3-Large или EfficientNetB0/B1. Они работают out-of-the-box через ML Kit Image Labeling или Core ML с моделями из Apple Model Gallery. Для узкой предметной области (конкретный вид продукции, дефекты на производстве) требуется дообученная модель.
Сравнение популярных вариантов:
| Модель | Размер | Точность (top-1) | Применимость |
|---|---|---|---|
| MobileNetV3-Large | ~5 MB | 75.6% | Универсальная, быстрая |
| EfficientNetB0 | ~8 MB | 77.1% | Баланс скорости и точности |
| Кастомная (fine-tuned) | 5-10 MB | 80-90% (зависит от датасета) | Узкая предметная область |
| Тип решения | Когда выбрать | Пример |
|---|---|---|
| Готовая модель | Топ-1000 классов, быстрый старт | ML Kit Image Labeling |
| Fine-tuning | 10-50 классов, 200-500 примеров на класс | Кастомная EfficientNet |
| Few-shot learning | Менее 50 примеров на класс | Prototypical Networks |
Дообучение (fine-tuning) под кастомный датасет: берем предобученный backbone (MobileNetV2, EfficientNetB0), замораживаем нижние слои, обучаем только верхние на своих данных. Для 10–50 классов достаточно 200–500 примеров на класс при правильной аугментации. Меньше — нужен few-shot подход (Prototypical Networks). После обучения конвертация в .mlmodel (iOS) или .tflite (Android), добавление metadata с именами классов и параметрами нормализации. EfficientNet — хороший выбор для баланса скорости и точности.
Как выбрать порог уверенности?
Самая частая ошибка в UX — показывать результат классификации без учёта confidence. Модель всегда возвращает распределение вероятностей, argmax всегда выдаёт «победителя» — даже когда модель в него не верит. Если топ-1 класс имеет score 0.23 при следующем 0.21 — это не классификация, а случайность.
Правильный подход: задать threshold (обычно 0.5–0.7 в зависимости от задачи). Если топ-1 ниже порога — показываем «не удалось определить» или просим переснять. Для критичных задач (медицина, юридические документы) — дополнительно проверяем entropy распределения. Согласно документации Core ML, порог задаётся через параметр confidenceThreshold в VNCoreMLRequest.
На iOS через VNCoreMLRequest:
request.imageCropAndScaleOption = .centerCrop let observations = results as? [VNClassificationObservation] let confident = observations?.filter { $0.confidence > 0.65 } На Android через ML Kit ImageLabeling:
val options = ImageLabelerOptions.Builder() .setConfidenceThreshold(0.65f) .build() Почему важна пост-обработка результатов?
Показывать топ-3 класса с процентами — правильно для образовательных и consumer-приложений. Для бизнес-приложений (автоматизация, склад) нужен один уверенный результат или ничего. Пост-обработка включает не только порог, но и проверку расстояния между топ-1 и топ-2: если разница мала — лучше запросить подтверждение у пользователя.
Кейс: приложение для инвентаризации на складе, классификация 87 SKU через кастомную EfficientNetB0-модель. Исходный порог 0.5 давал 12% ложных срабатываний. После анализа confusion matrix выяснили: 80% ошибок — между SKU с похожей упаковкой. Добавили второй уровень: если топ-2 и топ-3 суммарно больше 0.4, просим оператора подтвердить выбор. Ложные срабатывания упали до 2.1%.
UI результата: не перегружать пользователя числами. Прогресс-бар или цветовая индикация (зелёный/жёлтый/красный) воспринимается лучше, чем «73.4%». Анимация появления результата через withAnimation (SwiftUI) или ObjectAnimator (Android) снижает ощущение «холодного» ответа от модели.
Что входит в работу
При заказе внедрения классификации объектов вы получаете:
- Анализ задачи и выбор архитектуры модели
- Fine-tuning на вашем датасете (если требуется)
- Конвертацию в форматы
.mlmodel(iOS) /.tflite(Android) - Интеграцию в приложение с настройкой потока данных
- Настройку порогов уверенности и пост-обработки
- Разработку UI для отображения результатов
- Тестирование на реальных данных и исправление ошибок
- Документацию по использованию и поддержку команды
Процесс работы
- Аналитика — разбираем задачу, собираем датасет, выбираем метрики
- Проектирование — определяем архитектуру, pipeline обработки
- Реализация — fine-tuning, конвертация, интеграция
- Тестирование — unit-тесты, UI-тесты, A/B-тесты на уверенность
- Деплой — публикация в App Store / Google Play, мониторинг
Сроки и стоимость
Интеграция готовой модели в существующее приложение — 3–5 дней. Fine-tuning кастомной модели + интеграция — 1–2 недели. Стоимость рассчитывается индивидуально — оценим ваш проект после первичной консультации. Мы гарантируем качество и соблюдение сроков, опираясь на более чем 5 лет опыта в мобильной разработке.
Хотите внедрить классификацию объектов? Свяжитесь с нами — получите консультацию и предварительную оценку бесплатно. Закажите внедрение классификации в ваше приложение уже сегодня.