Интеграция MLC LLM для офлайн AI-ассистента на мобильных устройствах

Интеграция MLC LLM для офлайн AI-ассистента в мобильном приложении

Представьте: пользователь в метро открывает ваше приложение и получает развёрнутый ответ от AI-ассистента без интернета. Никаких отправок данных на сервер, никаких задержек на сеть. Это реально с MLC LLM — мы внедряли этот стек в несколько коммерческих проектов. Опыт команды — 5+ лет в мобильной разработке, более 15 успешных интеграций on-device ML.

Что такое MLC LLM и зачем он нужен

MLC LLM (Machine Learning Compilation LLM) — проект от команды TVM, который компилирует языковые модели непосредственно под конкретный железный таргет. В отличие от llama.cpp, работающего через универсальный C++ backend, MLC генерирует оптимизированный Metal код для iPhone или Vulkan для Android в момент компиляции модели. Это даёт ощутимый прирост скорости — особенно на Apple Silicon.

Чем MLC отличается от llama.cpp

Llama.cpp интерпретирует GGUF граф в рантайме, используя Metal через общий путь. MLC LLM — AOT (Ahead-Of-Time) компиляция: Python-скрипт генерирует .metal/.vulkan шейдеры специфично для данной модели и данного устройства. Ценой большего времени подготовки получаем более эффективные шейдеры.

На iPhone 14 Pro с Llama-3.2-3B Q4: llama.cpp — 10–14 t/s, MLC LLM — 16–22 t/s. Разница заметна. Наш опыт показывает, что MLC даёт до 50% прироста скорости на последних моделях Apple.

Как компилировать модель под iOS и Android

Компиляция — ключевой этап. Мы подготовили базу из 10+ предварительно скомпилированных моделей, но при необходимости компилируем под конкретный таргет.

# Установка mlc-llm
pip install mlc-llm

# Компиляция модели под iPhone (Metal)
mlc_llm convert_weight \
    ./Llama-3.2-3B-Instruct/ \
    --quantization q4f16_1 \
    --output mlc-llm-weights/

mlc_llm gen_config \
    ./Llama-3.2-3B-Instruct/ \
    --quantization q4f16_1 \
    --conv-template llama-3 \
    --output mlc-llm-config/

mlc_llm compile \
    mlc-llm-config/mlc-chat-config.json \
    --device iphone \
    --output dist/libs/Llama-3.2-3B-Instruct-q4f16_1-iphone.tar

Результат — архив с .dylib и Metal шейдерами. Встраивается в Xcode проект. Для Android аналогично с --device android:

mlc_llm compile \
    mlc-llm-config/mlc-chat-config.json \
    --device android \
    --output dist/libs/Llama-3.2-3B-Instruct-q4f16_1-android.tar

iOS SDK: интеграция через Swift

MLC LLM предоставляет официальный Swift Package — mlc-swift. Мы написали обёртку, которая добавляет обработку ошибок и перезагрузку после вытеснения из памяти.

import MLCSwift

// Инициализация движка
let engine = MLCEngine()

// Загрузка модели (асинхронно)
try await engine.reload(
    modelPath: Bundle.main.path(forResource: "Llama-3.2-3B", ofType: nil)!,
    modelLib: "Llama-3.2-3B-Instruct-q4f16_1-iphone" // имя .dylib без расширения
)

// Стриминг через async/await
let messages: [ChatCompletionMessage] = [
    .init(role: .system, content: "You are a helpful assistant."),
    .init(role: .user, content: "Объясни что такое RAG в машинном обучении")
]

let request = ChatCompletionRequest(messages: messages, stream: true)

for await chunk in try await engine.chat.completions.create(request) {
    if let delta = chunk.choices.first?.delta.content {
        // Добавляем дельту к UI в реальном времени
        await MainActor.run {
            self.responseText += delta
        }
    }
}

API максимально приближен к OpenAI Chat Completions API — это упрощает переиспользование кода между серверным и on-device вариантом.

Android SDK: интеграция через Kotlin

import ai.mlc.mlcllm.MLCEngine

class LLMViewModel(application: Application) : AndroidViewModel(application) {
    private val engine = MLCEngine()

    suspend fun loadModel(modelPath: String, modelLib: String) {
        engine.reload(modelPath, modelLib)
    }

    fun chat(userMessage: String): Flow<String> = flow {
        val messages = listOf(
            ChatCompletionMessage(
                role = MessageRole.user,
                content = userMessage
            )
        )
        val request = ChatCompletionRequest(messages = messages, stream = true)
        engine.chat.completions.create(request).collect { chunk ->
            chunk.choices.firstOrNull()?.delta?.content?.let { delta ->
                emit(delta)
            }
        }
    }.flowOn(Dispatchers.IO)
}

flowOn(Dispatchers.IO) — инференс не должен блокировать main thread. UI подписывается на Flow через collectAsState() в Compose или launchWhenResumed во Fragment.

Как управлять памятью и обрабатывать вытеснение

Одна модель в памяти одновременно — правило для мобиля. Выгрузка:

await engine.unload() // Явная выгрузка освобождает Metal bufers и GPU memory
// После этого можно загрузить другую модель

На iOS Metal память — отдельный пул от system RAM, но общий с другими приложениями. Если пользователь переключится на тяжёлое приложение (игра, камера), система может принудительно вытеснить Metal ресурсы — модель нужно перегружать.

// Обработка вытеснения Metal ресурсов
NotificationCenter.default.addObserver(
    forName: .MLCEngineModelUnloaded, // или собственный механизм детекции
    object: nil,
    queue: .main
) { [weak self] _ in
    Task {
        try await self?.engine.reload(...)
    }
}

Скачивание и управление моделями

Веса модели не встраиваются в app bundle (ограничение App Store — 4 ГБ на весь пакет, а веса могут быть 2–4 ГБ). Скачиваем при первом запуске или по запросу:

// Background download через URLSession
func downloadModel(from url: URL, modelName: String) async throws {
    let destinationURL = Self.modelsDirectory.appendingPathComponent(modelName)
    guard !FileManager.default.fileExists(atPath: destinationURL.path) else { return }
    let (tempURL, _) = try await URLSession.shared.download(from: url)
    try FileManager.default.moveItem(at: tempURL, to: destinationURL)
}

static var modelsDirectory: URL {
    FileManager.default.urls(for: .applicationSupportDirectory, in: .userDomainMask)[0]
        .appendingPathComponent("MLCModels")
}

applicationSupportDirectory — правильное место для больших данных приложения (не Documents, который пользователь видит в Files.app).

Когда выбирать MLC, а когда llama.cpp

MLC LLM предпочтительнее когда: важна максимальная скорость на конкретном устройстве, целевые устройства хорошо известны (можно компилировать под конкретные архитектуры), используете официальные модели с HuggingFace (Llama, Phi, Gemma, Mistral).

llama.cpp предпочтительнее когда: нужна гибкость в выборе квантований, модель приходит в GGUF от партнёров, важна поддержка старых устройств, нужен кастомный семплинг (beam search, специфические параметры температуры).

Почему интеграция MLC от нашей команды — гарантия результата

Мы реализовали этот стек в нескольких коммерческих проектах: от AI-помощника для логистики до офлайн-переводчика. В процессе мы:

• Оптимизировали время загрузки модели с 5 секунд до 0.5 секунды за счёт кэширования.
• Настроили автоматическую перекомпиляцию моделей под разные партнёрские устройства.
• Внедрили сквозной мониторинг падений Metal и Vulkan.

Результат — стабильная работа на 97% устройств. Мы передаём заказчику всю документацию по сборке и интеграции, а также обучаем команду.

Что входит в работу

• Анализ целевых устройств и выбор модели
• Компиляция MLC LLM под iOS и Android
• Интеграция Swift Package / Kotlin SDK
• Реализация UI чата со стримингом
• Система скачивания и кэширования весов
• Обработка вытеснения из памяти и перезагрузки
• Тестирование на тепловые троттлинг и утечки памяти
• Документация и обучение команды

Процесс работы

1. Аналитика: обсуждаем задачу, парк устройств, требуемую модель и функционал.
2. Проектирование: определяем архитектуру, API и flow загрузки.
3. Компиляция: собираем MLC библиотеки под оба таргета.
4. Интеграция: встраиваем движок в приложение.
5. Тестирование: проверяем производительность, стабильность и тепловыделение.
6. Деплой: помогаем с публикацией в сторах.

Ориентиры по срокам

Точную оценку дадим после предварительного интервью. Пишите — обсудим ваш проект.

Хотите получить консультацию по интеграции? Свяжитесь с нами — мы поможем подобрать оптимальное решение.