On-Device AI в мобильном приложении: разработка локального ассистента

Разработка AI-ассистента на устройстве (On-Device)

Медицинские дневники, корпоративные документы, личные заметки — данные не должны покидать устройство. On-device LLM — это архитектурное решение, которое гарантирует приватность. Мы реализовали такие проекты для клиентов в MedTech и FinTech: локальный ассистент работает без интернета, используя только вычислительные ресурсы смартфона. Наша команда имеет 5-летний опыт в мобильной разработке и более 30 проектов с on-device AI.

Современные флагманы способны запускать 3B-модели в INT4 квантизации со скоростью 15–30 токенов/сек — достаточно для диалогового ассистента. Однако выбор модели и рантайма критически влияет на производительность и совместимость.

Какую модель и рантайм выбрать для on-device?

Apple предлагает два пути для iOS. Core ML — стабильный, поддерживает iOS 16+, автоматически использует Neural Engine. Модель конвертируется через coremltools из PyTorch/GGUF. Объём после конвертации Llama 3.2 3B в INT4 — около 1.8 ГБ.

import CoreML class OnDeviceLLM { private let model: MLModel init() throws { let config = MLModelConfiguration() config.computeUnits = .all // CPU + GPU + Neural Engine model = try LlamaModel(configuration: config).model } func generate(prompt: String) -> AsyncStream<String> { AsyncStream { continuation in Task.detached(priority: .userInitiated) { // tokenize → autoregressive decode → yield tokens let tokens = self.tokenize(prompt) for _ in 0..<512 { let nextToken = self.model.predictNextToken(tokens) continuation.yield(self.detokenize(nextToken)) if nextToken == self.eosTokenId { break } } continuation.finish() } } } } 

Apple MLX (Swift framework, iOS 16+) — более удобный API, но требует iOS 16+ и работает лучше на устройствах с унифицированной памятью. Официальные конвертированные модели от Apple доступны на Hugging Face.

llama.cpp — наибольший выбор моделей в GGUF формате, активно поддерживается сообществом. Интеграция через C++ bridging header сложнее, чем Core ML, но даёт доступ к любой GGUF-модели.

На Android больше вариантов и меньше единого стандарта. MediaPipe LLM Inference API (Google) — наиболее зрелое решение для Android. Поддерживает Gemma 2B/7B, Phi-2, Llama 2, ExportedModels в TFLite формате. Интеграция через LlmInference класс:

val options = LlmInference.LlmInferenceOptions.builder() .setModelPath("/data/local/tmp/gemma-2b-it-gpu-int4.bin") .setMaxTokens(1024) .setResultListener { partialResult, done -> runOnUiThread { appendText(partialResult) } } .build() val llmInference = LlmInference.createFromOptions(context, options) llmInference.generateResponseAsync(prompt) 

TFLite с кастомным LLM runner — гибче, но требует больше работы по интеграции.

ExecuTorch (Meta) — официальный runtime для Llama на Android, поддерживает Llama 3.x напрямую без конвертации. Компилируется через buck2, что нетривиально настроить в Gradle-проекте.

Пытаться запустить 7B+ модель на телефоне с 4 ГБ RAM — гарантированный OOM crash. Мы помогаем подобрать оптимальную модель под ваше устройство и сценарий. При переходе на on-device AI клиенты экономят до 80% на затратах на серверную инфраструктуру и облачные вычисления.

Сравнение рантаймов для on-device AI

Как мы интегрируем AI-ассистента: пошаговый план

1. Анализ целевых устройств — определяем минимальные характеристики (RAM, чипсет, версия ОС) и подбираем модель с оптимальным соотношением качество/производительность.
2. Конвертация и квантизация — используем INT4 (Q4_K_M) для баланса размера и точности. Для старых устройств — Q2_K. Конвертируем в Core ML / MediaPipe / ExecuTorch.
3. Разработка UI и архитектуры — создаём экран загрузки модели с прогрессом, интерфейс чата со стримингом токенов, настраиваем Deep Link для вызова ассистента.
4. Интеграция рантайма и тестирование — подключаем выбранный runtime, пишем обёртку для генерации и токенизации. Тестируем на 5+ физических устройствах.
5. Оптимизация теплового режима — реализуем мониторинг ProcessInfo.thermalState (iOS) или PowerManager.thermalStatus (Android) и адаптивное снижение нагрузки.
6. Деплой и мониторинг — настраиваем удалённое обновление модели через манифест, добавляем аналитику использования и краш-репорты.

Почему важна правильная стратегия загрузки модели?

Модель нельзя паковать в bundle приложения — 1.5–3 ГБ сразу приведут к отклонению в App Store и отпугнут пользователей большим размером APK. Правильный подход: первый запуск → предложение скачать модель → фоновая загрузка с прогресс-баром → верификация контрольной суммы.

На iOS: URLSession.downloadTask с backgroundConfiguration — загрузка продолжается при уходе в фон. Файл хранится в Application Support (не Caches — там может быть удалён системой при нехватке места). На Android: DownloadManager или WorkManager с NetworkType.UNMETERED constraint — пользователь не потратит мобильный трафик.

Обновление модели: сервер публикует манифест с текущей версией и SHA-256 суммой. При запуске приложение проверяет манифест, если версия изменилась — предлагает обновить.

Почему важно управлять тепловым состоянием?

Inference на Neural Engine/GPU греет устройство. Для длинных генераций (>200 токенов) нужно мониторить тепловое состояние через ProcessInfo.thermalState (iOS) — при .serious снижать n_threads или временно переключаться на CPU-only inference. На Android — PowerManager.thermalStatus. Батарейное потребление: 3B модель на iPhone 15 Pro расходует ~5–8% батареи на 100 запросов. Это меньше, чем стриминг видео, поэтому предупреждения пользователю не нужны.

Что входит в работу по интеграции AI-ассистента

• Анализ целевых устройств и подбор модели под их характеристики.
• Конвертация модели в Core ML / TFLite / MediaPipe форматы.
• Разработка UI для загрузки модели и взаимодействия.
• Интеграция стриминга токенов и управления памятью.
• Тепловой мониторинг и адаптивное снижение нагрузки.
• Тестирование на физических устройствах (5+ популярных моделей).
• Документация по поддержке и обучение команды.

Ориентировочные сроки

Базовый on-device ассистент (одна платформа, Core ML или MediaPipe) — 4–5 недель. Кросс-платформа с управлением загрузкой, обновлениями и тепловым мониторингом — 8–12 недель. Стоимость рассчитывается индивидуально в зависимости от сложности и требуемой производительности. Закажите консультацию — мы подготовим план и оценку.

Подробнее о Core ML см. официальную документацию.

Свяжитесь с нами, чтобы обсудить ваш проект. Мы гарантируем стабильную работу на устройствах с 4 ГБ RAM и выше.