Генерация синтетических данных для дообучения LLM под ключ

Вы запускаете fine-tuning LLM, но у вас всего несколько десятков тысяч примеров. Ручная разметка стоит сотни тысяч долларов и занимает месяцы. Мы решаем эту задачу с помощью генерации синтетических данных: учительская модель (GPT-4, Claude) создаёт тысячи разнообразных инструкций и ответов, а вы затем дообучаете свою модель. Такой подход сокращает затраты на разметку до 90% и позволяет получить датасет с нужным распределением за 2–4 недели. Синтетическая аугментация (LLM augmentation) — это не только экономия бюджета, но и контроль качества: вы управляете стилем ответов, сложностью и доменом. В отличие от краудсорсинга, где качество аннотаций нестабильно, здесь каждый пример проходит через LLM-judge и выборочную human-оценку. Результат — датасет, который улучшает метрики модели на 15–20% без дополнительных затрат.

Как Self-Instruct масштабирует датасет?

Метод Self-Instruct, предложенный исследователями из Университета Вашингтона, требует всего 20–200 seed-примеров. Из них LLM генерирует новые инструкции, затем ответы, и повторяет процесс итеративно. За 3–5 итераций из 100 seed-примеров получается 2 000–5 000 пар. Мы адаптировали процесс под русскоязычные данные и добавили фильтр качества (LLM-судья), который отсеивает повторы и нерелевантные примеры.

from anthropic import Anthropic
import json

client = Anthropic()

SEED_EXAMPLES = [
    {"instruction": "Объясни термин из ML", "output": "..."},
    {"instruction": "Напиши SQL запрос для...", "output": "..."},
    # 20-200 seed примеров
]

def generate_new_instructions(seed_examples: list, n: int = 20) -> list[str]:
    """Генерация новых инструкций на основе seed примеров"""
    examples_str = "\n".join([f"- {ex['instruction']}" for ex in seed_examples[:10]])

    response = client.messages.create(
        model="claude-3-5-sonnet-20241022",
        max_tokens=2000,
        messages=[{
            "role": "user",
            "content": f"""Here are some example instructions for an AI assistant:
{examples_str}

Generate {n} NEW diverse instructions in the same domain.
Requirements:
- Each instruction should be unique and not repeat the examples
- Vary complexity: some simple, some multi-step
- Include different formats: questions, commands, completions
- Return as JSON array of strings"""
        }]
    )
    return json.loads(response.content[0].text)

def generate_response(instruction: str, context: str = None) -> str:
    """Генерация идеального ответа для инструкции"""
    prompt = f"Instruction: {instruction}"
    if context:
        prompt = f"Context: {context}\n\n{prompt}"

    response = client.messages.create(
        model="claude-3-5-sonnet-20241022",
        max_tokens=1000,
        system="You are an expert assistant. Provide accurate, helpful, and complete responses.",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.content[0].text

Как Evol-Instruct усложняет инструкции?

Evol-Instruct, реализованный в WizardLM, берёт существующие примеры и применяет методы усложнения: добавление ограничений, углубление, конкретизация, увеличение числа шагов рассуждения. Например, простой вопрос «Расскажи про React» превращается в «Сравни React и Vue для крупного enterprise-приложения с учётом SSR и code-splitting». Это повышает качество fine-tuning, особенно для задач рассуждения.

EVOLUTION_METHODS = [
    "Add constraints: add a specific constraint or requirement to the instruction",
    "Deepening: ask for more depth or detail in the response",
    "Concretizing: replace general concepts with specific examples",
    "Increased reasoning steps: require multi-step reasoning",
    "Complicate input: add more complex or ambiguous input",
]

def evolve_instruction(original: str) -> str:
    """Усложнение инструкции одним из методов"""
    method = random.choice(EVOLUTION_METHODS)

    response = client.messages.create(
        model="claude-3-5-sonnet-20241022",
        max_tokens=200,
        messages=[{
            "role": "user",
            "content": f"""Rewrite this instruction using this method: {method}

Original instruction: {original}

Return only the rewritten instruction, nothing else."""
        }]
    )
    return response.content[0].text.strip()

Как мы оцениваем качество синтетических данных?

Мы внедрили двухуровневую валидацию: автоматический LLM-судья (на базе GPT-4) оценивает каждый пример по шкале 0–1, затем случайные 10% выборки проверяет человеческий эксперт. Если approval rate по human-оценке ниже 85% — корректируем генерацию. Дополнительно замеряем разнообразие (distinct n-grams) и длину в токенах, чтобы избежать однотипности.

Как мы генерируем данные под ваш домен?

Для domain-specific задач мы добавляем контекст: базу знаний, API-спецификации, корпоративные гайды. Например, для дообучения чат-бота техподдержки: загружаем FAQ и логи звонков, LLM генерирует пары «вопрос клиента — ответ эксперта». Пайплайн включает три шага:

1. Генерация инструкций — моделирование возможных запросов пользователей.
2. Генерация ответов — с использованием релевантного контекста из вашей базы.
3. Фильтрация — удаление дубликатов, проверка длины (токены), оценка качества LLM-судьёй.

def generate_domain_dataset(domain: str, n_examples: int,
                             output_path: str):
    """Генерация датасета для конкретного домена"""
    examples = []

    for i in range(n_examples):
        # Шаг 1: Генерация разнообразной инструкции
        instruction = generate_instruction_for_domain(domain)

        # Шаг 2: Генерация ответа
        response = generate_response(instruction)

        # Шаг 3: Качественный фильтр (LLM-judge)
        quality_score = judge_quality(instruction, response)

        if quality_score >= 0.7:
            examples.append({
                "instruction": instruction,
                "output": response,
                "quality_score": quality_score,
                "generated_by": "claude-3-5-sonnet-20241022"
            })

        if (i + 1) % 100 == 0:
            print(f"Generated {i+1}/{n_examples}, kept {len(examples)}")

    with open(output_path, 'w') as f:
        for ex in examples:
            f.write(json.dumps(ex, ensure_ascii=False) + '\n')

Сравнение методов генерации

Процесс работы

1. Анализ задачи — определение домена, требований к датасету, метрик качества.
2. Подготовка seed-примеров — сбор 50–200 репрезентативных пар (можно ваши данные).
3. Генерация синтетического датасета — Self-Instruct + Evol-Instruct, 5 000–50 000 пар.
4. Фильтрация и валидация — LLM-судья + human-оценка 10% выборки.
5. Документация — model card, замеры разнообразия, approval rate.
6. Сопровождение — корректировка промптов при необходимости, поддержка в течение месяца.

Сроки и стоимость

Сроки зависят от объёма датасета:

• 1 000–10 000 примеров: от 1 до 3 недель
• 10 000–100 000 примеров: от 3 до 6 недель

Стоимость рассчитывается индивидуально — она включает API-затраты, работу инженера и валидацию. В среднем синтетика обходится в 10–20% от стоимости ручной разметки аналогичного объёма. Гарантируем качество: approval rate не ниже 85% по результатам human-оценки.

Типичные ошибки при генерации синтетики

• Overfitting на стиль учителя — модель копирует тон GPT-4 вместо целевого. Решение: mix with real data, добавляйте примеры из вашего домена.
• Недостаточное разнообразие — все инструкции похожи. Решение: контролируйте тематическое распределение, используйте Evol-Instruct.
• Галлюцинации фактов — особенно в domain-specific данных. Решение: вводите контекстные фильтры и ручную проверку.

Мы имеем 5+ лет опыта в NLP и MLOps, выполнили более 50 проектов по генерации синтетических данных для LLM. Свяжитесь с нами — оценим ваш проект и предложим оптимальную стратегию. Получите консультацию прямо сейчас.

Data Engineering для ML: пайплайны, разметка и качество данных

«У нас много данных» — фраза, которая на деле часто означает «у нас много сырых логов в S3, которые никто не трогал два года». Перед тем как обучить модель, нужно понять, что вообще есть: какова структура, есть ли дубли, как часто меняется схема, насколько репрезентативна выборка.

Data Engineering для ML — не просто ETL. Это построение воспроизводимой инфраструктуры данных, которая делает обучение моделей надёжным, а переобучение — предсказуемым. По опыту нашей команды (8 лет в дата-инжиниринге, более 30 проектов в ML) каждая вторая проблема в продакшене связана не с архитектурой модели, а с качеством данных.

ETЛ-пайплайны для ML: чем отличаются от BI

ETL для аналитики и ETL для ML — разные задачи. В аналитике важна агрегация, в ML — индивидуальные записи с историей. В аналитике train/val/test split не нужен, в ML — критичен. В аналитике skew данных мешает интерпретации, в ML — напрямую влияет на качество модели.

Инструменты. Apache Spark (Wikipedia) для больших объёмов (10GB+): PySpark с DataFrames, оптимизации через partitioning и caching. dbt для трансформаций поверх DWH (Snowflake, BigQuery, Redshift) — декларативно, версионируется, тестируется. Pandas + Polars для объёмов до нескольких GB — Polars в 5-10x быстрее Pandas на типичных трансформациях.

Temporal splits. Для ML важно, что split по времени, а не случайный. Если данные временные (транзакции, события пользователей), случайный split даёт data leakage: модель видит «будущие» данные при обучении. Правило: train на периоде T1-T2, validation на T2-T3 (с gap для предотвращения leakage), test на T3-T4. Неправильный split может стоить 10–15% качества модели на валидации.

Инкрементальные пайплайны. Модель переобучается еженедельно на новых данных. Нужен пайплайн, который инкрементально добавляет новые записи к обучающей выборке, не перегружая всё с нуля. Delta Lake или Apache Iceberg — форматы с ACID-транзакциями, Change Data Capture, time travel.

Как избежать training-serving skew с помощью Feature Store

Feature Store решает проблему рассинхронизации между обучением и инференсом. Самая коварная ошибка в ML-инфраструктуре — training-serving skew: признак считается по-разному в обучении и в продакшене. Модель учится на «правильных» данных, а инференс получает другие.

Feast (open source) — офлайн store на Parquet/Delta в S3 для обучения, онлайн store на Redis для low-latency инференса (<10ms). Feature definitions как Python-код:

from feast import FeatureView, Field
from feast.types import Float32, Int64

user_features = FeatureView(
    name="user_features",
    entities=["user_id"],
    schema=[
        Field(name="purchase_count_7d", dtype=Int64),
        Field(name="avg_session_duration", dtype=Float32),
    ],
    ttl=timedelta(days=7),
    source=user_features_source,
)

Один definition, используется везде. Нет расхождений.

Потоковые признаки. Когда признак должен обновляться в реальном времени (количество транзакций за последние 10 минут), нужна потоковая обработка. Apache Kafka + Apache Flink или Kafka Streams для вычисления признаков в реальном времени → запись в онлайн store. Сложнее, дороже, нужно только когда staleness признаков критична для качества.

Разметка данных: как не потратить бюджет впустую

Разметка — самая трудоёмкая и недооцениваемая часть ML-проекта. Плохо размеченные данные не исправит никакая архитектура.

Label Studio — open source, поддерживает разметку изображений (bounding box, polygon, segmentation), текста (NER, классификация), аудио, видео. Поднимается за 10 минут через Docker. Для небольших команд — первый выбор.

Оценка качества разметки. Inter-annotator agreement — насколько согласны разметчики между собой. Cohen's Kappa > 0.8 — хорошо, 0.6-0.8 — приемлемо, < 0.6 — задача неоднозначна или инструкция плохая. Пересечение разметок (10-20% примеров размечают два независимых аннотатора) — обязательная практика.

Active learning. Не размечать случайные примеры, а выбирать те, на которых модель наиболее неуверена (low confidence, high uncertainty). Позволяет добиться того же качества при 50-70% объёма разметки. Modals, Prodigy, Label Studio поддерживают active learning workflows. На одном из проектов для NLP мы сократили бюджет на разметку в 2,5 раза за счёт active learning.

Синтетические данные. Когда реальных данных мало или получить их дорого. Для CV: рендеринг в Blender/Unity с реалистичными текстурами (domain randomization). Для NLP: parafrase через LLM, backtranslation. Риск: модель обучается на distribution синтетических данных, а не реальных — нужна осторожность и проверка на реальном holdout.

Качество данных: валидация и мониторинг

Great Expectations — de facto стандарт для data validation в ML-пайплайнах. Expectations — это декларативные утверждения о данных: «колонка age содержит значения от 0 до 120», «колонка user_id не содержит null», «распределение amount не отклоняется более чем на 20% от baseline». Запускается в пайплайне, при провале — блокирует прохождение.

Pandera — Pythonic alternative для pandas/polars DataFrames. Schema-based validation с type hints:

import pandera as pa

schema = pa.DataFrameSchema({
    "user_id": pa.Column(int, nullable=False),
    "score": pa.Column(float, pa.Check.between(0, 1)),
    "label": pa.Column(str, pa.Check.isin(["positive", "negative", "neutral"])),
})

Data freshness. Модель ожидает данные за последние N дней. ETL упал, данные не обновились — модель использует устаревшие признаки. Мониторинг свежести данных: timestamp последней записи в каждой таблице, алерт при задержке > порога.

Дедупликация. Дубликаты в обучающей выборке завышают метрики (одни и те же примеры в train и val) и искажают веса модели. MinHash LSH для приближённой дедупликации больших датасетов. Для точной — хэш по нормализованному контенту.

Инструменты валидации: сравнение

Хранилища и форматы

Для большинства ML-проектов на старте: Parquet в S3 + DVC для версионирования. Delta Lake или Iceberg — когда появляется потребность в инкрементальных обновлениях или time travel.

Что входит в проект по дата-инжинирингу для ML

Мы предоставляем полный цикл:

• Аудит существующих данных и пайплайнов (1 неделя).
• Проектирование архитектуры: выбор инструментов, форматов, способов разметки.
• Реализация ETL/ELT пайплайна с валидацией и мониторингом.
• Документация кода и процессов (model card, data card).
• Обучение вашей команды работе с пайплайном.
• SLA на сопровождение и поддержку.

Как мы строим пайплайн: пошагово

1. Аудит существующих данных. Профилирование: ydata-profiling (бывший pandas-profiling) генерирует HTML-репорт со статистиками, дистрибуциями, корреляциями, missing values за минуты.
2. Проектирование пайплайна. Определяем источники данных, частоту обновления, требования к latency признаков, объёмы.
3. Реализация и тестирование. Unit-тесты на трансформации, integration-тесты на пайплайн, data validation через Great Expectations.
4. Деплой и мониторинг. Алерты на freshness, quality checks, аномалии в объёмах данных.

Почему стоит доверить это нам

Мы занимаемся дата-инжинирингом и ML с 2016 года. За это время реализовали более 40 проектов — от построения пайплайнов для NLP-моделей до разметки датасетов для компьютерного зрения. Гарантируем воспроизводимость пайплайнов и полную прозрачность процессов. В каждом проекте используем инструменты с открытым исходным кодом, чтобы вы не были привязаны к вендору.

Свяжитесь с нами для бесплатного аудита ваших данных — оценим текущий пайплайн и предложим roadmap. Закажите построение ML-пайплайна под ключ.