Интеграция On-Device ML модели (Core ML) для офлайн AI в iOS-приложении

Интеграция On-Device ML модели (Core ML) для офлайн AI в iOS-приложении

Core ML — это не просто «запустить модель на iPhone». Это конкретный путь от PyTorch/TensorFlow весов до вызова .prediction() в SwiftUI-приложении, где на каждом шаге есть нюансы, которые съедают неделю работы, если не знать заранее.

Конвертация модели: coremltools

Большинство современных моделей приходят как PyTorch checkpoint или ONNX файл. Конвертируем через coremltools (Apple, Python-пакет):

import coremltools as ct
import torch

# Допустим, у нас PyTorch модель классификации изображений
model = MyModel()
model.load_state_dict(torch.load("model.pth"))
model.eval()

# Tracing — нужно передать пример входных данных
example_input = torch.zeros(1, 3, 224, 224)
traced = torch.jit.trace(model, example_input)

# Конвертация
mlmodel = ct.convert(
    traced,
    inputs=[ct.ImageType(
        name="input_image",
        shape=(1, 3, 224, 224),
        color_layout=ct.colorlayout.RGB,
        bias=[-0.485/0.229, -0.456/0.224, -0.406/0.225],  # ImageNet нормализация
        scale=1/(255.0 * 0.229)  # встроена в модель, не нужно делать в Swift
    )],
    outputs=[ct.TensorType(name="class_probabilities")],
    compute_precision=ct.precision.FLOAT16,  # для ANE
    minimum_deployment_target=ct.target.iOS16
)

mlmodel.save("MyClassifier.mlpackage")

ct.precision.FLOAT16 + minimum_deployment_target=iOS16 означает, что Core ML активно использует ANE (Apple Neural Engine). На iPhone 14 это 4–8× быстрее GPU для inference, при этом батарея расходуется значительно меньше. На iOS 15 та же модель запускается через Metal GPU.

ct.ImageType с нормализацией встроена в граф — конвертировать UIImage в нормализованный FloatArray в Swift не нужно, Core ML делает это сам.

Частые проблемы при конвертации

Dynamic shapes — модели с torch.Size([batch, seq_len, hidden]) где seq_len не фиксирован ломают torch.jit.trace. Решение: ct.RangeDim для переменных размеров или задать несколько конфигураций через ct.EnumeratedShapes.

# Переменная длина последовательности
flexible_shape = ct.Shape(shape=(1, ct.RangeDim(1, 512), 768))
mlmodel = ct.convert(model, inputs=[ct.TensorType(shape=flexible_shape)])

Неподдерживаемые операции — например, кастомные CUDA kernels. coremltools выбросит NotImplementedError. Путь: либо переписать операцию на стандартных PyTorch примитивах, либо добавить ct.op кастомный слой через C++/Swift extension.

Ошибка Unsupported model format при загрузке .mlpackage на симуляторе x86 — симулятор использует CPU fallback, некоторые FLOAT16 операции не поддерживаются. Тестировать точность — только на реальном устройстве.

Загрузка и запуск на iOS

import CoreML
import Vision

// Загрузка модели (один раз при старте)
let config = MLModelConfiguration()
config.computeUnits = .all  // ANE + GPU + CPU

// .mlpackage загружается из bundle
guard let modelURL = Bundle.main.url(forResource: "MyClassifier", withExtension: "mlpackage"),
      let model = try? MyClassifier(contentsOf: modelURL, configuration: config) else {
    fatalError("Не удалось загрузить модель")
}

// Инференс — в фоновом потоке
DispatchQueue.global(qos: .userInitiated).async {
    do {
        let input = MyClassifierInput(input_image: cgImage)
        let output = try model.prediction(input: input)
        let probs = output.class_probabilities
        // probs — MLMultiArray, достать значение: probs[0].doubleValue
    } catch {
        print("Ошибка инференса: \(error)")
    }
}

Модель загружается ~100–300 мс (зависит от размера). Не загружайте её в viewDidLoad — только один раз при старте приложения или при первом использовании, держите в памяти пока нужна.

Vision Framework как обёртка

Для задач computer vision удобнее VNCoreMLRequest — Vision берёт на себя ресайзинг входа, ориентацию изображения, координатные преобразования:

let coreMLModel = try VNCoreMLModel(for: model.model)  // .model — MLModel из generated class

let request = VNCoreMLRequest(model: coreMLModel) { request, error in
    guard let results = request.results as? [VNClassificationObservation] else { return }
    let topResult = results.sorted { $0.confidence > $1.confidence }.first
    print("\(topResult?.identifier ?? "?") — \(topResult?.confidence ?? 0)")
}
request.imageCropAndScaleOption = .centerCrop  // или .scaleFit

let handler = VNImageRequestHandler(cgImage: inputCGImage, options: [:])
try handler.perform([request])

VNCoreMLRequest автоматически решает проблему несовпадения входного размера — передаёте произвольное изображение, Vision ресайзит до ожидаемого размера модели. Без Vision пришлось бы делать это вручную через vImage или CIImage.

Производительность: замеры

Xcode Instruments → Core ML Instrument для профилирования реального использования ANE/GPU/CPU.

Обновление модели без обновления приложения

Core ML поддерживает загрузку модели из произвольного URL, не только из bundle. Это позволяет обновлять модель через сервер:

// Загружаем mlpackage из документов-директории
let documentsURL = FileManager.default.urls(for: .documentDirectory, in: .userDomainMask)[0]
let downloadedModelURL = documentsURL.appendingPathComponent("updated_model.mlpackage")

if FileManager.default.fileExists(atPath: downloadedModelURL.path) {
    let model = try MyClassifier(contentsOf: downloadedModelURL, configuration: config)
} else {
    // Fallback на bundle
}

Загрузка модели по сети через URLSession, сохранение в Documents, верификация через SHA256-хэш перед использованием.

Процесс

Получение весов → конвертация с подбором precision и compute units → профилирование на целевых устройствах → интеграция в приложение с fallback и обработкой ошибок → опционально: remote model update.

Ориентиры по срокам

Конвертация существующей модели + базовая интеграция в iOS — 1–2 недели. Сложная модель с нестандартными операциями, несколькими входами/выходами, remote update — 3–5 недель.