Представьте: ваше приложение для медицинских консультаций на iOS должно отвечать на специфические вопросы, используя большую языковую модель. Полный fine-tuning Llama 3 8B потребует кластер A100 с 80 ГБ VRAM и несколько дней обучения. Но есть LoRA — Low-Rank Adaptation. Она замораживает оригинальные веса и обучает компактные матрицы-адаптеры. Один A100 40GB справляется за часы, адаптер весит 50–300 МБ вместо 16 ГБ. Экономия на GPU-аренде достигает 70–90%, что при типичной стоимости аренды A100 около $1.5/час превращается в десятки тысяч долларов экономии на каждом проекте. Мы используем этот метод для десятков мобильных проектов — от юридических чат-ботов до генерации контента.
Технические аспекты LoRA
Принцип работы
Оригинальная весовая матрица W размером d × k остается неизменной. Вместо неё мы обучаем две низкоранговые матрицы: A (размер d × r) и B (размер r × k), где r — ранг адаптации (обычно 8–64). При инференсе выполняем: W_new = W + α · (A × B), где α — scaling-коэффициент.
Ключевые гиперпараметры:
-
r(rank) — чем выше, тем больше обучаемых параметров.r=16— разумный старт. -
lora_alpha— обычно равен2rилиr. Контролирует силу адаптации при слиянии. -
target_modules— какие слои адаптировать. Для трансформеров:q_proj, v_proj, k_proj, o_projи опциональноgate_proj, up_proj, down_proj. -
lora_dropout— регуляризация, 0.05–0.1 для небольших датасетов.
| Ранг (r) | Параметров адаптера | VRAM при QLoRA (4bit) | Рекомендуемое применение |
|---|---|---|---|
| 8 | ~0.5% от базовой | ~5.5 ГБ (8B) | Простая классификация |
| 16 | ~1% | ~5.8 ГБ (8B) | Текстовая генерация |
| 32 | ~2% | ~6.3 ГБ (8B) | Инструктивные задачи |
| 64 | ~4% | ~7.2 ГБ (8B) | Сложные сценарии |
Почему LoRA предпочтительнее полного fine-tuning?
Full fine-tuning требует огромных ресурсов и времени, а также чекпоинты размером в десятки гигабайт. LoRA даёт те же возможности адаптации под конкретную задачу с долей затрат. Для мобильных приложений это особенно важно — можно быстро итеративно улучшать модель без простоев и без переобучения всей базы. Этот подход описан в работе QLoRA: Efficient Finetuning of Quantized Language Models.
Подготовка датасета и обучение
Сбор и аугментация данных
Соберите от 300 до 500 размеченных примеров в формате "инструкция → ответ". Для доменной адаптации (например, юридические консультации) нужны релевантные диалоги, очищенные от шума. Мы используем синтетическую аугментацию через GPT-4 и проверку качества вручную. Датасет разбивается на train/validation (80/20) и токенизируется с max_seq_length=2048.
QLoRA с Unsloth
Unsloth ускоряет LoRA-обучение на 2–5x по сравнению с чистым PEFT за счёт кастомных CUDA-ядер:
from unsloth import FastLanguageModel
import torch
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="unsloth/Meta-Llama-3.1-8B-Instruct",
max_seq_length=2048,
dtype=torch.float16,
load_in_4bit=True # QLoRA: 4-bit quantization + LoRA
)
model = FastLanguageModel.get_peft_model(
model,
r=16,
target_modules=["q_proj", "v_proj", "k_proj", "o_proj",
"gate_proj", "up_proj", "down_proj"],
lora_alpha=32,
lora_dropout=0.05,
bias="none",
use_gradient_checkpointing="unsloth"
)
QLoRA — это LoRA поверх 4-битной квантизации базовой модели. Llama 3 8B в 4-bit занимает ~5 ГБ VRAM вместо 16 ГБ в fp16. Минимальный GPU для QLoRA обучения — RTX 3090 (24 ГБ) или арендованный A100.
Интеграция: серверный или on-device?
Серверный деплой (vLLM/Ollama)
После обучения адаптер сохраняется отдельно от базовой модели. Базовая модель загружена на сервере, адаптер применяется при инициализации или в рантайме. Мобильное приложение работает с API-эндпоинтом — никакого груза модели на устройстве.
# vLLM с LoRA адаптером
vllm serve meta-llama/Llama-3.1-8B-Instruct \
--enable-lora \
--lora-modules my-adapter=/path/to/lora/adapter
On-device (llama.cpp/Core ML)
Если требуется минимальная задержка, работа без интернета или конфиденциальность данных — стоит рассмотреть on-device запуск. Для этого подходят модели до 3B параметров с LoRA-адаптером, смёрженные в GGUF Q4_K_M. Для больших моделей или сложных задач лучше выбрать серверный деплой.
| Характеристика | Серверный (vLLM/Ollama) | On-device (llama.cpp/Core ML) |
|---|---|---|
| Задержка | 100–500 мс (сетевые) | 10–50 мс (локально) |
| Требования к устройству | Любое с интернетом | iPhone 14+ / Galaxy S23+, 6+ ГБ RAM |
| Размер модели на устройстве | Не хранится | 2–3 ГБ (GGUF Q4_K_M) |
| Обновление адаптера | Мгновенное | Требуется обновление приложения |
| Стоимость инфраструктуры | Аренда GPU | Бесплатно после деплоймента |
On-device через llama.cpp / Core ML возможно только для небольших моделей с слиянием весов (merge + GGUF). Для мобильных устройств реально: Llama 3.2 3B или Phi-3.5-mini 3.8B с LoRA-адаптером, смёрженным в GGUF Q4_K_M. Итоговый размер модели — 2–3 ГБ, что укладывается в возможности iPhone 14+ и Galaxy S23+.
# Слияние весов перед экспортом в GGUF
merged_model = model.merge_and_unload()
merged_model.save_pretrained("./merged-model")
# Далее: llama.cpp convert + quantize → .gguf файл
На iOS такой GGUF запускается через llama.swift или через MLModel (если конвертировать в Core ML через coremltools). На Android — llama.cpp через JNI или MediaPipe LLM Inference API для Gemma-моделей.
Процесс и сроки
Этапы работы
- Анализ задачи и подготовка датасета — сбор, очистка, аугментация (1–2 недели).
- Настройка среды — выбор базовой модели, установка Unsloth, PEFT (1–2 дня).
- Обучение с QLoRA — запуск обучения на GPU с 4-битной квантизацией (от нескольких часов до 2 суток).
- Конвертация адаптера — слияние весов, квантизация в GGUF (2–3 дня).
- Интеграция в приложение — серверный API через vLLM или on-device через Core ML/llama.cpp (2–4 дня).
- Тестирование и оптимизация — проверка качества, задержек, доработка (3–5 дней).
Ориентировочные сроки
Подготовка датасета — 1–2 недели. Настройка и обучение — 1–2 дня. Конвертация и тестирование — 2–3 дня. Интеграция серверного API — 2–4 дня. Полный цикл — от 2 до 4 недель. Стоимость рассчитывается индивидуально и зависит от сложности задачи.
Типичные ошибки и как их избежать
Неправильный выбор target_modules. Если адаптировать только q_proj, v_proj, пропустив MLP-слои, эффективность падает на 30–50%. Для instruction-following задач обязательно включайте gate_proj, up_proj, down_proj.
Слишком маленький датасет. LoRA с 50–100 примерами даст переобучение: модель запомнит примеры, но не обобщит. Минимум 300–500 разнообразных примеров.
Не заморожена база при слиянии. После merge_and_unload() проверьте, что оригинальные веса не изменились по сравнению с базовой моделью — это сигнализирует о правильной работе LoRA.
Что мы предлагаем
Состав услуги
- Анализ задачи и подготовка датасета (сбор, очистка, аугментация)
- Настройка среды и запуск обучения (Unsloth + PEFT, QLoRA)
- Конвертация адаптера (слияние, квантизация в GGUF)
- Интеграция: серверный API (vLLM/Ollama) или on-device (Core ML/llama.cpp)
- Тестирование и оптимизация производительности
- Документация и обучение вашей команды
Мы сопровождаем проект на всех этапах и гарантируем результат. Свяжитесь с нами, чтобы оценить ваш проект и получить консультацию. Закажите консультацию — мы поможем внедрить LLM в ваше мобильное приложение быстро и эффективно.
Гарантии и опыт
- 6+ лет опыта в разработке мобильных AI-решений
- Более 50 успешных проектов по дообучению LLM
- Глубокое знание стека: Swift, Kotlin, Flutter, React Native, Unsloth, PEFT
- Индивидуальный подход и гарантия качества
Закажите услугу LoRA-адаптации — и мы поможем внедрить LLM в ваше мобильное приложение быстро и эффективно.