Інтеграція On-Device ML моделі (Core ML) для офлайн AI в iOS-застосунку

Інтеграція On-Device ML моделі (Core ML) для офлайн AI у iOS додатках

Core ML—це не просто «запустити модель на iPhone». Це конкретний шлях від PyTorch/TensorFlow ваг до виклику .prediction() у SwiftUI додатку, де на кожному кроці є нюанси, які з'їдають неділю роботи, якщо не знати заздалегідь.

Конвертація моделі: coremltools

Більшість сучасних моделей приходять як PyTorch checkpoint або ONNX файл. Конвертуємо через coremltools (Apple, Python-пакет):

import coremltools as ct
import torch

# Припустимо, у нас PyTorch модель класифікації зображень
model = MyModel()
model.load_state_dict(torch.load("model.pth"))
model.eval()

# Tracing—потрібно передати приклад вхідних даних
example_input = torch.zeros(1, 3, 224, 224)
traced = torch.jit.trace(model, example_input)

# Конвертація
mlmodel = ct.convert(
    traced,
    inputs=[ct.ImageType(
        name="input_image",
        shape=(1, 3, 224, 224),
        color_layout=ct.colorlayout.RGB,
        bias=[-0.485/0.229, -0.456/0.224, -0.406/0.225],  # ImageNet нормалізація
        scale=1/(255.0 * 0.229)  # вбудована у модель, не потрібно у Swift
    )],
    outputs=[ct.TensorType(name="class_probabilities")],
    compute_precision=ct.precision.FLOAT16,  # для ANE
    minimum_deployment_target=ct.target.iOS16
)

mlmodel.save("MyClassifier.mlpackage")

ct.precision.FLOAT16 + minimum_deployment_target=iOS16 означає, що Core ML активно використовує ANE (Apple Neural Engine). На iPhone 14 це 4–8× швидше за GPU для інференцу, при цьому батарея розходується значно менше. На iOS 15 та сама модель запускається через Metal GPU.

ct.ImageType з вбудованою нормалізацією—конвертувати UIImage у нормалізований FloatArray у Swift не потрібно, Core ML робить це сам.

Частих проблеми при конвертації

Dynamic shapes—моделі з torch.Size([batch, seq_len, hidden]) де seq_len не фіксований ломають torch.jit.trace. Рішення: ct.RangeDim для змінних розмірів або кілька конфігурацій через ct.EnumeratedShapes.

# Змінна довжина послідовності
flexible_shape = ct.Shape(shape=(1, ct.RangeDim(1, 512), 768))
mlmodel = ct.convert(model, inputs=[ct.TensorType(shape=flexible_shape)])

Непідтримувані операції—наприклад, користувацькі CUDA kernels. coremltools викидає NotImplementedError. Шлях: або переписати операцію на стандартних PyTorch примітивах, або додати користувацький ct.op шар через C++/Swift extension.

Помилка Unsupported model format при завантаженні .mlpackage на симуляторі x86—симулятор використовує CPU fallback, деякі FLOAT16 операції не підтримуються. Тестувати точність—лише на реальному пристрої.

Завантаження та запуск на iOS

import CoreML
import Vision

// Завантажуємо модель (один раз при старті)
let config = MLModelConfiguration()
config.computeUnits = .all  // ANE + GPU + CPU

// .mlpackage завантажується з bundle
guard let modelURL = Bundle.main.url(forResource: "MyClassifier", withExtension: "mlpackage"),
      let model = try? MyClassifier(contentsOf: modelURL, configuration: config) else {
    fatalError("Не вдалося завантажити модель")
}

// Інференц—у фоновому потоці
DispatchQueue.global(qos: .userInitiated).async {
    do {
        let input = MyClassifierInput(input_image: cgImage)
        let output = try model.prediction(input: input)
        let probs = output.class_probabilities
        // probs—MLMultiArray, отримайте значення: probs[0].doubleValue
    } catch {
        print("Помилка інференцу: \(error)")
    }
}

Модель завантажується ~100–300 мс (залежить від розміру). Не завантажуйте в viewDidLoad—лише один раз при старті додатку або при першому використанні, тримайте в пам'яті поки потрібна.

Vision Framework як обгортка

Для задач computer vision зручніше VNCoreMLRequest—Vision бере на себе ресайзинг входу, орієнтацію зображення, координатні трансформації:

let coreMLModel = try VNCoreMLModel(for: model.model)  // .model—MLModel з generated class

let request = VNCoreMLRequest(model: coreMLModel) { request, error in
    guard let results = request.results as? [VNClassificationObservation] else { return }
    let topResult = results.sorted { $0.confidence > $1.confidence }.first
    print("\(topResult?.identifier ?? "?") — \(topResult?.confidence ?? 0)")
}
request.imageCropAndScaleOption = .centerCrop  // або .scaleFit

let handler = VNImageRequestHandler(cgImage: inputCGImage, options: [:])
try handler.perform([request])

VNCoreMLRequest автоматично вирішує проблему невідповідності вхідного розміру—передайте довільне зображення, Vision ресайзить до очікуваного розміру моделі. Без Vision потрібно було б робити це вручну через vImage або CIImage.

Продуктивність: кошторис

Xcode Instruments → Core ML Instrument для профілювання реального використання ANE/GPU/CPU.

Оновлення моделі без оновлення додатку

Core ML підтримує завантаження моделі з довільного URL, не лише з bundle. Дозволяє оновлювати модель через сервер:

// Завантажуємо mlpackage з документів-директорії
let documentsURL = FileManager.default.urls(for: .documentDirectory, in: .userDomainMask)[0]
let downloadedModelURL = documentsURL.appendingPathComponent("updated_model.mlpackage")

if FileManager.default.fileExists(atPath: downloadedModelURL.path) {
    let model = try MyClassifier(contentsOf: downloadedModelURL, configuration: config)
} else {
    // Fallback на bundle
}

Завантажуємо модель по мережі через URLSession, зберігаємо в Documents, верифікуємо через SHA256-хеш перед використанням.

Процес

Отримання ваг → конвертація з підбором precision та compute units → профілювання на цільових пристроях → інтеграція в додаток з fallback та обробкою помилок → опціонально: remote model update.

Кошторис за часом

Конвертація існуючої моделі + базова інтеграція в iOS займає 1–2 тижні. Складна модель з нестандартними операціями, кількома входами/виходами, remote update вимагає 3–5 тижнів.