Offline- и Online-Llama: ключевые сценарии
Интеграция Llama в мобильное приложение упирается в два вопроса: запускать модель локально или через сервер? Выбор диктует всю архитектуру — от размера бинарника до стоимости поддержки. Мы прошли этот путь с десятками проектов: от медицинских чатов до финансовых консультантов. Ниже — технические детали, которые сэкономят вам месяцы экспериментов.
Как выбрать между on-device и серверной Llama?
On-device — модель живёт в памяти телефона, inference без интернета. Реально для Llama 3.2 1B и 3B в INT4 квантизации. Llama 3.2 3B INT4 занимает ~2 ГБ RAM и на iPhone 15 Pro выдаёт 15–25 токенов/сек. Это вариант для приложений с жёсткими требованиями к приватности (медицинские данные не покидают устройство) или для работы в офлайне.
Серверная Llama — модель на вашем GPU-сервере (или арендованном), мобильный клиент общается через API. Позволяет использовать Llama 3.3 70B или Llama 3.1 405B — полноценные модели, неотличимые по качеству от GPT-4. Большинство коммерческих проектов выбирают именно серверный подход: проще обновлять модель, не ограничен размером оперативной памяти.
Почему on-device всё ещё актуален?
Для сценариев с критической приватностью (банковские транзакции, медицинские рекомендации) или при работе в условиях нестабильного интернета локальная модель — единственный выход. К тому же отпадает необходимость в серверной инфраструктуре и оплате API-запросов. Экономия на серверных расходах при локальном запуске может достигать сотен тысяч рублей в месяц. Однако качество ответов ниже из-за ограниченных размеров модели.
Детали квантизации и производительности
On-Device Runtime: llama.cpp, Core ML, ExecuTorch
llama.cpp — наиболее зрелый runtime для GGUF-моделей. На iOS: компилируется как C++ библиотека, вызывается через Objective-C++ bridging header. На Android: через JNI. Сложность — сборка под разные архитектуры (arm64-v8a для современных, armeabi-v7a для старых). Официальный репозиторий llama.cpp содержит готовые скрипты сборки.
// iOS — минимальная обёртка над llama.cpp class LlamaContext { private var context: OpaquePointer? init(modelPath: String) { var params = llama_context_default_params() params.n_ctx = 4096 params.n_threads = 4 // меньше потоков — меньше нагрев let model = llama_load_model_from_file(modelPath, llama_model_default_params()) context = llama_new_context_with_model(model, params) } func generate(prompt: String, maxTokens: Int = 256) -> AsyncStream<String> { // tokenize → sample loop → detokenize } } Apple MLX / Core ML — Apple предоставляет официальный конвертер для Llama в Core ML формат. Преимущество: Neural Engine задействуется автоматически, inference быстрее и холоднее, чем через CPU. Ограничение: только iOS 17+.
ExecuTorch — Facebook's runtime для мобилей, официально поддерживает Llama 3. Более сложная сборка, но лучшая интеграция с Android Neural Networks API.
Сравнение on-device runtime
| Runtime | iOS | Android | Производительность | Сложность |
|---|---|---|---|---|
| llama.cpp | + | + | Высокая | Средняя |
| Core ML | + (17+) | - | Очень высокая | Низкая |
| ExecuTorch | + | + | Высокая | Высокая |
Квантизация: выбор точности
| Тип | Размер (3B) | Качество | Скорость |
|---|---|---|---|
| FP16 | ~6 ГБ | Эталонное | Медленно |
| Q8_0 | ~3.3 ГБ | ≈FP16 | Умеренно |
| Q4_K_M | ~2.0 ГБ | Хорошее | Быстро |
| Q2_K | ~1.3 ГБ | Заметно хуже | Очень быстро |
Для большинства мобильных задач Q4_K_M оптимальный баланс. Q2_K можно рассматривать для устройств с 4 ГБ RAM.
Серверная Llama: Ollama и vLLM
Для серверного деплоя — Ollama (простота) или vLLM (производительность). Ollama поднимает OpenAI-совместимый API: POST /api/chat, формат запроса идентичен OpenAI Chat Completions. Мобильный клиент, написанный для OpenAI, работает с Ollama без изменений — нужно только поменять base URL.
vLLM предпочтительнее для продакшена с нагрузкой: continuous batching, tensor parallelism на нескольких GPU, throughput в разы выше Ollama.
Fine-tuning: когда и как
Fine-tuning необходим, когда базовая Llama не справляется со специализированными задачами: медицинские термины, юридический стиль, специфика отрасли. LoRA/QLoRA — стандартный подход для fine-tuning на одном GPU. Обученные адаптеры (~50–100 МБ) загружаются поверх базовой модели. Внедрение on-device снижает операционные затраты на облачные вычисления.
Что входит в работу
- Анализ требований и выбор архитектуры: on-device или серверная, подбор модели и квантизации.
- Интеграция runtime: сборка llama.cpp/ExecuTorch под iOS/Android, обёртка API.
- Настройка серверной части: деплой Ollama/vLLM, балансировка, мониторинг.
- Тестирование: метрики задержки, потребления памяти, качества ответов.
- Документация и обучение: как обновлять модель, менять параметры.
- Поддержка после запуска: гарантия на интеграцию, консультации по доработкам.
Процесс реализации: пошагово
- Аудит требований: сценарии использования, целевые устройства, бюджет.
- Выбор модели и runtime.
- Интеграция и сборка.
- Деплой серверной части (если требуется).
- Тестирование метрик.
- Документация и передача.
- Гарантийная поддержка.
Ориентиры по срокам
Серверная Llama с Ollama и мобильным клиентом — 1–2 недели. On-device через llama.cpp со сборкой под iOS/Android — 3–5 недель. Fine-tuning + деплой — отдельная оценка. Получите консультацию по вашему проекту. Оставьте заявку — мы проанализируем задачу и предложим оптимальное решение.