Разработка машинного обучения (Core ML) в iOS-приложении

Почему Core ML вместо облачного инференса?

Конвертируете модель из Python-среды в мобильный продакшн — и сразу сталкиваетесь с несовместимостью форматов, латентностью инференса и отсутствием механизма обновления без релиза в App Store. Core ML решает эти проблемы нативно, но только если его правильно встроить в архитектуру приложения. Мы уже выполнили более 50 интеграций Core ML и гарантируем стабильную работу на устройствах начиная с iPhone 8. On-device inference исключает задержки сети и сохраняет конфиденциальность данных пользователя. Подробнее о возможностях Core ML читайте в официальной документации Apple.

Как избежать типичных ошибок при интеграции Core ML?

Самая распространённая ошибка — конвертация модели без учёта целевого железа. coremltools позволяет указать minimum_deployment_target и тип compute unit: cpuOnly, cpuAndGPU, cpuAndNeuralEngine. Если не указать cpuAndNeuralEngine для A12+, модель не попадёт на Neural Engine и будет работать на CPU, что в 5–10 раз медленнее для свёрточных сетей. Наши инженеры сертифицированы Apple и всегда выбирают оптимальную конфигурацию.

Второй момент — входной формат. Core ML ожидает CVPixelBuffer с конкретным kCVPixelFormatType. Если приложение получает UIImage с камеры через AVCapturePhotoOutput, нужна промежуточная конвертация через CIImage → CVPixelBuffer. Делать это на main thread — верный путь к dropped frames. Вся цепочка захвата и инференса должна идти через DispatchQueue с QoS .userInteractive или через Vision framework, который сам управляет буферами.

Vision + CoreML — правильная комбинация для большинства задач: VNCoreMLRequest берёт на себя масштабирование, нормализацию и управление буфером. Но если нужна последовательность инференсов на видеопотоке, лучше использовать VNSequenceRequestHandler — он кэширует состояние между кадрами.

Как мы гарантируем скорость инференса?

Начинаем с аудита исходной модели: формат (ONNX, TensorFlow SavedModel, PyTorch TorchScript), размер весов, количество операций. Для конвертации используем coremltools 7.x, для количественных моделей — ct.optimize.coreml с LinearQuantizer или PalettizationConfig. Квантизация в 8-bit снижает размер модели в 4 раза без заметной потери точности на большинстве классификаторов.

Пример из практики: финтех-клиент хотел детекцию подделки документов на устройстве. Исходная TFLite-модель (MobileNetV3, 12 MB) давала 280 ms на iPhone 12. После конвертации в .mlpackage с computeUnits = .cpuAndNeuralEngine и Float16-компрессией — 34 ms на том же устройстве. Дополнительно завернули инференс в MLModelConfiguration с allowLowPrecisionAccumulationOnGPU = true. Экономия на серверной инфраструктуре составила до 70%.

Данные из официального семпла Apple Core ML Optimization Guide Если вы хотите такую же оптимизацию, свяжитесь с нами для аудита вашей модели.

Что даёт квантизация модели?

Квантизация в 8-bit с помощью LinearQuantizer сокращает размер модели в 4 раза и ускоряет инференс до 2 раз на поддерживаемом железе. Для задач классификации точность падает менее чем на 1%. Если требуется максимальная точность, используем половинную точность (Float16) — размер уменьшается вдвое без потери точности. Наш опыт показывает, что большинство моделей можно безопасно квантизовать в 8-bit.

Как мы обновляем модели без релиза?

Для обновления моделей без релиза настраиваем загрузку через CloudKit или собственный S3-совместимый storage. MLModel(contentsOf:) принимает локальный URL — модель скачивается в фоне, верифицируется по SHA-256, подменяется атомарно через FileManager.replaceItem. Старая версия хранится как fallback.

Архитектурно весь ML-слой изолируем в отдельный модуль (Swift Package) с протоколом MLInferenceService. Это позволяет подменять реализацию в тестах и переиспользовать между несколькими таргетами.

Что входит в работу

1. Аудит исходной модели и выбор пути конвертации.
2. Конвертация в .mlmodel / .mlpackage через coremltools.
3. Оптимизация: квантизация, прунинг, выбор compute units.
4. Интеграция через Vision или прямой MLModel API.
5. Настройка OTA-обновления моделей (CloudKit / S3).
6. Unit-тесты инференса с эталонными входами/выходами.
7. Профилирование через Xcode Instruments (Core ML Instrument).

Получите консультацию по интеграции Core ML уже сегодня. Свяжитесь с нами для аудита вашей модели — мы рассчитаем сроки и стоимость.

Сроки

Интеграция готовой сконвертированной модели в существующее приложение — от 3 до 5 рабочих дней. Если нужна конвертация, оптимизация и настройка OTA-обновления с нуля — 1–2 недели. Стоимость рассчитывается индивидуально после анализа требований и исходной модели.