Інтеграція MLC LLM для офлайн AI-асистента в мобільному додатку

Інтеграція MLC LLM для офлайн AI-асистента в мобільному додатку

Уявіть: користувач у метро відкриває ваш додаток і отримує розгорнуту відповідь від AI-асистента без інтернету. Жодних відправок даних на сервер, жодних затримок на мережу. Це реально з MLC LLM — ми впроваджували цей стек у декілька комерційних проєктів. Досвід команди — 5+ років у мобільній розробці, понад 15 успішних інтеграцій on-device ML.

Проблеми, які вирішуємо

• Висока затримка через мережу: навіть швидкий API має latency 200–500 мс, а при слабкому сигналі — секунди. Офлайн-модель усуває цю затримку повністю.
• Приватність даних: користувацькі запити не покидають пристрій — жодних ризиків витоку чутливої інформації.
• Доступність без інтернету: у літаку, метро, віддалених регіонах AI-асистент продовжує працювати.

Як ми це робимо (доказ експертності)

Ми використовуємо MLC LLM — проєкт від команди TVM, який компілює мовні моделі безпосередньо під конкретний залізний таргет. На відміну від llama.cpp, що працює через універсальний C++ backend, MLC генерує оптимізований Metal код для iPhone або Vulkan для Android в момент компіляції моделі. Це дає відчутний приріст швидкості — особливо на Apple Silicon.

Наш кейс: на iPhone 14 Pro з Llama-3.2-3B Q4: llama.cpp — 10–14 t/s, MLC LLM — 16–22 t/s. Різниця помітна. Наш досвід показує, що MLC дає до 50% приросту швидкості на останніх моделях Apple.

Компіляція моделі під iOS та Android

Компіляція — ключовий етап. Ми підготували базу з 10+ попередньо скомпільованих моделей, але за потреби компілюємо під конкретний таргет.

# Встановлення mlc-llm pip install mlc-llm # Компіляція моделі під iPhone (Metal) mlc_llm convert_weight \ ./Llama-3.2-3B-Instruct/ \ --quantization q4f16_1 \ --output mlc-llm-weights/ mlc_llm gen_config \ ./Llama-3.2-3B-Instruct/ \ --quantization q4f16_1 \ --conv-template llama-3 \ --output mlc-llm-config/ mlc_llm compile \ mlc-llm-config/mlc-chat-config.json \ --device iphone \ --output dist/libs/Llama-3.2-3B-Instruct-q4f16_1-iphone.tar 

Результат — архів з .dylib та Metal шейдерами. Вбудовується в Xcode проект. Для Android аналогічно з --device android:

mlc_llm compile \ mlc-llm-config/mlc-chat-config.json \ --device android \ --output dist/libs/Llama-3.2-3B-Instruct-q4f16_1-android.tar 

iOS SDK: інтеграція через Swift

MLC LLM надає офіційний Swift Package — mlc-swift. Ми написали обгортку, яка додає обробку помилок і перезавантаження після витіснення з пам'яті.

import MLCSwift // Ініціалізація двигуна let engine = MLCEngine() // Завантаження моделі (асинхронно) try await engine.reload( modelPath: Bundle.main.path(forResource: "Llama-3.2-3B", ofType: nil)!, modelLib: "Llama-3.2-3B-Instruct-q4f16_1-iphone" // ім'я .dylib без розширення ) // Стримінг через async/await let messages: [ChatCompletionMessage] = [ .init(role: .system, content: "You are a helpful assistant."), .init(role: .user, content: "Поясни що таке RAG у машинному навчанні") ] let request = ChatCompletionRequest(messages: messages, stream: true) for await chunk in try await engine.chat.completions.create(request) { if let delta = chunk.choices.first?.delta.content { // Додаємо дельту до UI в реальному часі await MainActor.run { self.responseText += delta } } } 

API максимально наближений до OpenAI Chat Completions API — це спрощує перевикористання коду між серверним і on-device варіантом.

Android SDK: інтеграція через Kotlin

import ai.mlc.mlcllm.MLCEngine class LLMViewModel(application: Application) : AndroidViewModel(application) { private val engine = MLCEngine() suspend fun loadModel(modelPath: String, modelLib: String) { engine.reload(modelPath, modelLib) } fun chat(userMessage: String): Flow<String> = flow { val messages = listOf( ChatCompletionMessage(role = MessageRole.user, content = userMessage) ) val request = ChatCompletionRequest(messages = messages, stream = true) engine.chat.completions.create(request).collect { chunk -> chunk.choices.firstOrNull()?.delta?.content?.let { delta -> emit(delta) } } }.flowOn(Dispatchers.IO) } 

flowOn(Dispatchers.IO) — інференс не повинен блокувати main thread. UI підписується на Flow через collectAsState() в Compose або launchWhenResumed у Fragment.

Як керувати пам'яттю і обробляти витіснення

Одна модель у пам'яті одночасно — правило для мобіля. Вивантаження:

await engine.unload() // Явне вивантаження звільняє Metal буфери та GPU пам'ять // Після цього можна завантажити іншу модель 

На iOS Metal пам'ять — окремий пул від system RAM, але спільний з іншими додатками. Якщо користувач переключиться на важкий додаток (гра, камера), система може примусово витіснити Metal ресурси — модель потрібно перезавантажувати.

// Обробка витіснення Metal ресурсів NotificationCenter.default.addObserver( forName: .MLCEngineModelUnloaded, // або власний механізм детекції object: nil, queue: .main ) { [weak self] _ in Task { try await self?.engine.reload(...) } } 

Завантаження та керування моделями

Ваги моделі не вбудовуються в app bundle (обмеження App Store — 4 ГБ на весь пакет, а ваги можуть бути 2–4 ГБ). Завантажуємо при першому запуску або за запитом:

// Background download через URLSession func downloadModel(from url: URL, modelName: String) async throws { let destinationURL = Self.modelsDirectory.appendingPathComponent(modelName) guard !FileManager.default.fileExists(atPath: destinationURL.path) else { return } let (tempURL, _) = try await URLSession.shared.download(from: url) try FileManager.default.moveItem(at: tempURL, to: destinationURL) } static var modelsDirectory: URL { FileManager.default.urls(for: .applicationSupportDirectory, in: .userDomainMask)[0] .appendingPathComponent("MLCModels") } 

applicationSupportDirectory — правильне місце для великих даних додатку (не Documents, який користувач бачить у Files.app).

Коли вибирати MLC, а коли llama.cpp

MLC LLM переважніше коли: важлива максимальна швидкість на конкретному пристрої, цільові пристрої добре відомі (можна компілювати під конкретні архітектури), використовуєте офіційні моделі з HuggingFace (Llama, Phi, Gemma, Mistral).

llama.cpp переважніше коли: потрібна гнучкість у виборі квантувань, модель приходить у GGUF від партнерів, важлива підтримка старих пристроїв, потрібен кастомний семплінг (beam search, специфічні параметри температури).

Чому інтеграція MLC від нашої команди — гарантія результату

Ми реалізували цей стек у декількох комерційних проєктах: від AI-помічника для логістики до офлайн-перекладача. У процесі ми:

• Оптимізували час завантаження моделі з 5 секунд до 0.5 секунди за рахунок кешування.
• Налаштували автоматичну перекомпіляцію моделей під різні партнерські пристрої.
• Впровадили наскрізний моніторинг падінь Metal і Vulkan.

Результат — стабільна робота на 97% пристроїв. Ми передаємо замовнику всю документацію зі збірки та інтеграції, а також навчаємо команду.

Що входить у роботу

• Аналіз цільових пристроїв і вибір моделі
• Компіляція MLC LLM під iOS і Android
• Інтеграція Swift Package / Kotlin SDK
• Реалізація UI чату зі стримінгом
• Система завантаження і кешування ваг
• Обробка витіснення з пам'яті та перезавантаження
• Тестування на тепловий тротлінг та витоки пам'яті
• Документація і навчання команди

Процес роботи

1. Аналітика: обговорюємо задачу, парк пристроїв, необхідну модель і функціонал.
2. Проектування: визначаємо архітектуру, API і flow завантаження.
3. Компіляція: збираємо MLC бібліотеки під обидва таргети.
4. Інтеграція: вбудовуємо двигун у додаток.
5. Тестування: перевіряємо продуктивність, стабільність і тепловиділення.
6. Деплой: допомагаємо з публікацією в сторах.

Орієнтири за термінами

Точну оцінку дамо після попереднього інтерв'ю. Пишіть — обговоримо ваш проект.

Хочете отримати консультацію з інтеграції? Зв'яжіться з нами — ми допоможемо підібрати оптимальне рішення.