Дообучение LLM методом Instruction Tuning: полное руководство

Отметим: когда корпоративный ассистент на базе LLM генерирует общие рассуждения вместо ответов по регламенту — это типичная проблема base-модели. Вы даёте инструкцию «Напиши ответ клиенту по шаблону CRM», а она выдает абстрактный текст. Чтобы превратить общую модель в ассистента, понимающего контекст компании, нужно instruction tuning. Этот метод настраивает модель на корпоративный язык и стандарты, гарантируя предсказуемые ответы. Подход в 2–3 раза эффективнее традиционного fine-tuning для задач, требующих соблюдения сложных текстовых инструкций. Настройка языковой модели под конкретный домен — ключевая задача в проектах RAG и MLOps. Средняя экономия бюджета на таком проекте составляет $2k–5k за счёт исключения необходимости обучения с нуля.

Чем отличается Base LLM от Instruct?

Base LLM (например, Llama 3.1 8B) просто продолжает текст. Дайте ей начало — она продолжит, но не ответит как ассистент. Instruct LLM (Llama 3.1 8B Instruct) выполняет инструкции: отвечает, анализирует, отказывается от нежелательного контента. При дообучении корпоративной модели мы обычно берём готовую Instruct-версию (Llama Instruct, Mistral Instruct) и адаптируем под домен. Но иногда требуется полноценный Instruction Tuning с нуля — например, для работы с base-моделью или переопределения поведения.

Какие форматы данных используются для Instruction Tuning?

{ "instruction": "Переведи текст с английского на русский", "input": "The contract must be signed before the deadline", "output": "Договор должен быть подписан до истечения срока" } 

{ "conversations": [ {"from": "human", "value": "Проанализируй баланс компании"}, {"from": "gpt", "value": "Для анализа баланса нужны следующие показатели..."}, {"from": "human", "value": "Как интерпретировать соотношение активов?"}, {"from": "gpt", "value": "Соотношение текущих и долгосрочных активов показывает..."} ] } 

messages = [ {"role": "system", "content": "Ты — ассистент по финансовому анализу"}, {"role": "user", "content": "Рассчитай ROE"}, {"role": "assistant", "content": "ROE = Чистая прибыль / Собственный капитал × 100%..."}, ] formatted = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) 

Какой объём данных нужен?

Исследование LIMA показало: 1000 качественных примеров работают так же хорошо, как 52000 обычных. Качество важнее количества. Ориентиры для специализированного Instruction Tuning:

Почему Instruction Tuning критичен для корпоративного ИИ?

Корпоративный ассистент должен не просто отвечать, а соблюдать регламенты, корпоративный тон и терминологию. Без Instruction Tuning модель может генерировать стилистически неверные ответы или разглашать конфиденциальную информацию. Мы дообучали Llama 3.1 8B на 1800 примерах внутренних переписок IT-компании. Результат: adherence to corporate tone вырос с 2.9 до 4.4 (по LLM-judge), точность доменной терминологии — с 61% до 87%, корректные отказы — с 34% до 89%, а ложные отказы снизились с 8% до 2%. В датасет мы включили negative examples — запросы, на которые модель должна отказывать (конкуренты, персональные данные). Экономия бюджета по сравнению с обучением с нуля может достигать 60%, что в денежном выражении составляет около $900–1.3k на проект.

from trl import SFTTrainer, SFTConfig from peft import LoraConfig trainer = SFTTrainer( model=model, args=SFTConfig( output_dir="./corporate-instruct", num_train_epochs=4, learning_rate=2e-4, per_device_train_batch_size=4, gradient_accumulation_steps=4, max_seq_length=2048, bf16=True, dataset_text_field="text", ), train_dataset=formatted_dataset, peft_config=LoraConfig(r=16, lora_alpha=32, target_modules=["q_proj","v_proj"]), ) 

def document_to_instructions(doc_text: str, llm_client) -> list: response = llm_client.chat.completions.create( model="gpt-4o", messages=[{ "role": "user", "content": f"""Из следующего документа создай 10 обучающих примеров для LLM. Каждый пример: {{"instruction": "задание", "output": "правильный ответ на основе документа"}}. Разнообразь типы заданий: вопросы, суммаризация, анализ, сравнение. Документ: {doc_text[:3000]} Верни JSON-массив примеров.""" }], ) return json.loads(response.choices[0].message.content)