Методы аугментации датасетов при обучении LLM

Клиент принёс датасет из 500 пар «инструкция–ответ». После трёх эпох fine-tuning accuracy на тесте — 92%, на реальных данных — 78%. Причина — маленькая и однообразная выборка. Модель выучила шаблоны, а не суть задачи. Аугментация данных увеличивает количество примеров, сохраняя разметку, и поднимает accuracy до 90%+. В этой статье я расскажу о трёх методах аугментации, которые мы используем в production: backtranslation, LLM-генерация парафразов и instruction diversity expansion. А также покажу, как контролировать качество с помощью semantic similarity.

Почему стандартная аугментация не работает для LLM?

В компьютерном зрении работают простые трансформации: поворот, изменение яркости, шум. Для текста такие методы бесполезны — они ломают грамматику или меняют смысл. LLM нужна семантическая эквивалентность при лексическом разнообразии. Мы используем три подхода, которые сохраняют смысл и увеличивают разнообразие.

Backtranslation: простой и надёжный

Перевод на промежуточный язык и обратно. Создаёт перефразировки с минимальными затратами.

from deep_translator import GoogleTranslator

def backtranslate(text: str, pivot_language: str = 'de') -> str:
    intermediate = GoogleTranslator(source='en', target=pivot_language).translate(text)
    back = GoogleTranslator(source=pivot_language, target='en').translate(intermediate)
    return back

# Применяем к инструкциям, не к output
original = "How do I cancel my subscription?"
augmented = backtranslate(original)  # "How can I terminate my subscription?"

Важно: применяем только к инструкциям, не к ответам — иначе модель научится выдавать парафразы вместо точных ответов. Backtranslation даёт около 80% полезных парафразов, но уступает LLM-генерации (95% полезных). Backtranslation экономит до 40% бюджета по сравнению с LLM-генерацией.

LLM-генерация парафразов: максимальное разнообразие

Самый качественный метод — генерация вариантов через сильную LLM (Claude, GPT-4). Указываем количество вариантов и просим изменить формулировку, стиль, структуру предложения.

from anthropic import Anthropic

client = Anthropic()

def generate_paraphrases(instruction: str, n: int = 5) -> list[str]:
    response = client.messages.create(
        model="claude-3-5-sonnet-20241022",
        max_tokens=500,
        messages=[{
            "role": "user",
            "content": f"""Generate {n} diverse paraphrases of this instruction.
Keep the same meaning but vary the wording, formality level, and sentence structure.

Instruction: {instruction}

Return as JSON array of strings."""
        }]
    )
    return json.loads(response.content[0].text)

Такой подход даёт до 10 разных формулировок для одной инструкции — от формальных до разговорных. LLM-генерация лучше backtranslation в 1.2 раза по доле успешных парафразов, но требует больше ресурсов и токенов.

Instruction diversity expansion: разные типы запросов

Пользователи формулируют одну задачу по-разному. Мы автоматически генерируем варианты инструкций: просьба, команда, вопрос, требование.

def expand_instruction_types(task_description: str,
                               example_output: str) -> list[dict]:
    variations = [
        f"Please {task_description.lower()}",
        f"Can you {task_description.lower()}?",
        f"I need you to {task_description.lower()}",
        f"{task_description}:",
        task_description.upper()
    ]
    return [{"instruction": var, "output": example_output}
            for var in variations]

Negation augmentation: безопасность без потери качества

Для пограничных запросов добавляем примеры корректного отказа. Модель учится вежливо отклонять некорректные запросы, предлагая альтернативу.

refusal_examples = []
for ex in harmful_edge_cases:
    refusal_examples.append({
        "instruction": ex.instruction,
        "output": f"I can't help with that request as it {reason}. "
                  f"I'd be happy to help with {alternative_suggestion} instead."
    })

Пошаговый процесс аугментации

1. Анализ датасета: оцениваем размер, разнообразие, типы инструкций.
2. Выбор методов: комбинируем backtranslation и LLM-генерацию в зависимости от задачи.
3. Генерация: создаём парафразы с помощью выбранных методов.
4. Фильтрация: проверяем семантическую близость и отбрасываем дубликаты.
5. Интеграция: добавляем аугментированные примеры в обучающую выборку.

Как контролировать качество аугментированных данных?

Каждую аугментированную пару проверяем на семантическую близость к оригиналу. Используем SentenceTransformer для получения эмбеддингов.

from sentence_transformers import SentenceTransformer
import numpy as np

def measure_augmentation_quality(original: str, augmented: str) -> dict:
    model = SentenceTransformer('all-MiniLM-L6-v2')
    orig_emb = model.encode(original)
    aug_emb = model.encode(augmented)

    similarity = float(np.dot(orig_emb, aug_emb) /
                       (np.linalg.norm(orig_emb) * np.linalg.norm(aug_emb)))

    return {
        'semantic_similarity': similarity,
        'is_valid': 0.7 < similarity < 0.98,
        'length_ratio': len(augmented) / len(original),
        'unique_words': len(set(augmented.split()) - set(original.split()))
    }

Оптимальный range для similarity — 0.75–0.95. Если значение >0.98 — почти дубликат; если <0.7 — смысл искажён. Такие примеры отбрасываем. Качественная аугментация снижает затраты на повторное обучение на 50%.

Сравнение методов аугментации

Какой объём аугментации оптимален?

Рекомендуем расширять датасет в 2–3 раза, сохраняя соотношение оригинал/аугментация 1:2. Доля аугментированных примеров не должна превышать 70% — иначе модель переобучается на искусственные паттерны. В наших проектах accuracy на production-запросах растёт на 8–15% после добавления 1000–3000 аугментированных пар.

Что входит в работу

Мы занимаемся аугментацией данных более 5 лет и выполнили более 20 проектов для NLP-задач. В рамках услуги вы получите:

• Код пайплайнов аугментации на Python (готов к интеграции).
• Документирование методов и конфигураций.
• Размеченный датасет в нужном формате (JSON, Parquet).
• Отчёт о метриках качества: распределение similarity, доля отбракованных примеров.
• Консультация по выбору стратегии аугментации для вашей задачи.

Сроки — от 3 до 10 рабочих дней. Стоимость рассчитывается индивидуально. Для старта достаточно прислать образец датасета и описание задачи — мы оценим проект и предложим решение.

Свяжитесь с нами, чтобы обсудить аугментацию для вашего fine-tuning. Закажите аугментацию данных под ключ — получите готовый пайплайн и улучшенный датасет.

Data Engineering для ML: пайплайны, разметка и качество данных

«У нас много данных» — фраза, которая на деле часто означает «у нас много сырых логов в S3, которые никто не трогал два года». Перед тем как обучить модель, нужно понять, что вообще есть: какова структура, есть ли дубли, как часто меняется схема, насколько репрезентативна выборка.

Data Engineering для ML — не просто ETL. Это построение воспроизводимой инфраструктуры данных, которая делает обучение моделей надёжным, а переобучение — предсказуемым. По опыту нашей команды (8 лет в дата-инжиниринге, более 30 проектов в ML) каждая вторая проблема в продакшене связана не с архитектурой модели, а с качеством данных.

ETЛ-пайплайны для ML: чем отличаются от BI

ETL для аналитики и ETL для ML — разные задачи. В аналитике важна агрегация, в ML — индивидуальные записи с историей. В аналитике train/val/test split не нужен, в ML — критичен. В аналитике skew данных мешает интерпретации, в ML — напрямую влияет на качество модели.

Инструменты. Apache Spark (Wikipedia) для больших объёмов (10GB+): PySpark с DataFrames, оптимизации через partitioning и caching. dbt для трансформаций поверх DWH (Snowflake, BigQuery, Redshift) — декларативно, версионируется, тестируется. Pandas + Polars для объёмов до нескольких GB — Polars в 5-10x быстрее Pandas на типичных трансформациях.

Temporal splits. Для ML важно, что split по времени, а не случайный. Если данные временные (транзакции, события пользователей), случайный split даёт data leakage: модель видит «будущие» данные при обучении. Правило: train на периоде T1-T2, validation на T2-T3 (с gap для предотвращения leakage), test на T3-T4. Неправильный split может стоить 10–15% качества модели на валидации.

Инкрементальные пайплайны. Модель переобучается еженедельно на новых данных. Нужен пайплайн, который инкрементально добавляет новые записи к обучающей выборке, не перегружая всё с нуля. Delta Lake или Apache Iceberg — форматы с ACID-транзакциями, Change Data Capture, time travel.

Как избежать training-serving skew с помощью Feature Store

Feature Store решает проблему рассинхронизации между обучением и инференсом. Самая коварная ошибка в ML-инфраструктуре — training-serving skew: признак считается по-разному в обучении и в продакшене. Модель учится на «правильных» данных, а инференс получает другие.

Feast (open source) — офлайн store на Parquet/Delta в S3 для обучения, онлайн store на Redis для low-latency инференса (<10ms). Feature definitions как Python-код:

from feast import FeatureView, Field
from feast.types import Float32, Int64

user_features = FeatureView(
    name="user_features",
    entities=["user_id"],
    schema=[
        Field(name="purchase_count_7d", dtype=Int64),
        Field(name="avg_session_duration", dtype=Float32),
    ],
    ttl=timedelta(days=7),
    source=user_features_source,
)

Один definition, используется везде. Нет расхождений.

Потоковые признаки. Когда признак должен обновляться в реальном времени (количество транзакций за последние 10 минут), нужна потоковая обработка. Apache Kafka + Apache Flink или Kafka Streams для вычисления признаков в реальном времени → запись в онлайн store. Сложнее, дороже, нужно только когда staleness признаков критична для качества.

Разметка данных: как не потратить бюджет впустую

Разметка — самая трудоёмкая и недооцениваемая часть ML-проекта. Плохо размеченные данные не исправит никакая архитектура.

Label Studio — open source, поддерживает разметку изображений (bounding box, polygon, segmentation), текста (NER, классификация), аудио, видео. Поднимается за 10 минут через Docker. Для небольших команд — первый выбор.

Оценка качества разметки. Inter-annotator agreement — насколько согласны разметчики между собой. Cohen's Kappa > 0.8 — хорошо, 0.6-0.8 — приемлемо, < 0.6 — задача неоднозначна или инструкция плохая. Пересечение разметок (10-20% примеров размечают два независимых аннотатора) — обязательная практика.

Active learning. Не размечать случайные примеры, а выбирать те, на которых модель наиболее неуверена (low confidence, high uncertainty). Позволяет добиться того же качества при 50-70% объёма разметки. Modals, Prodigy, Label Studio поддерживают active learning workflows. На одном из проектов для NLP мы сократили бюджет на разметку в 2,5 раза за счёт active learning.

Синтетические данные. Когда реальных данных мало или получить их дорого. Для CV: рендеринг в Blender/Unity с реалистичными текстурами (domain randomization). Для NLP: parafrase через LLM, backtranslation. Риск: модель обучается на distribution синтетических данных, а не реальных — нужна осторожность и проверка на реальном holdout.

Качество данных: валидация и мониторинг

Great Expectations — de facto стандарт для data validation в ML-пайплайнах. Expectations — это декларативные утверждения о данных: «колонка age содержит значения от 0 до 120», «колонка user_id не содержит null», «распределение amount не отклоняется более чем на 20% от baseline». Запускается в пайплайне, при провале — блокирует прохождение.

Pandera — Pythonic alternative для pandas/polars DataFrames. Schema-based validation с type hints:

import pandera as pa

schema = pa.DataFrameSchema({
    "user_id": pa.Column(int, nullable=False),
    "score": pa.Column(float, pa.Check.between(0, 1)),
    "label": pa.Column(str, pa.Check.isin(["positive", "negative", "neutral"])),
})

Data freshness. Модель ожидает данные за последние N дней. ETL упал, данные не обновились — модель использует устаревшие признаки. Мониторинг свежести данных: timestamp последней записи в каждой таблице, алерт при задержке > порога.

Дедупликация. Дубликаты в обучающей выборке завышают метрики (одни и те же примеры в train и val) и искажают веса модели. MinHash LSH для приближённой дедупликации больших датасетов. Для точной — хэш по нормализованному контенту.

Инструменты валидации: сравнение

Хранилища и форматы

Для большинства ML-проектов на старте: Parquet в S3 + DVC для версионирования. Delta Lake или Iceberg — когда появляется потребность в инкрементальных обновлениях или time travel.

Что входит в проект по дата-инжинирингу для ML

Мы предоставляем полный цикл:

• Аудит существующих данных и пайплайнов (1 неделя).
• Проектирование архитектуры: выбор инструментов, форматов, способов разметки.
• Реализация ETL/ELT пайплайна с валидацией и мониторингом.
• Документация кода и процессов (model card, data card).
• Обучение вашей команды работе с пайплайном.
• SLA на сопровождение и поддержку.

Как мы строим пайплайн: пошагово

1. Аудит существующих данных. Профилирование: ydata-profiling (бывший pandas-profiling) генерирует HTML-репорт со статистиками, дистрибуциями, корреляциями, missing values за минуты.
2. Проектирование пайплайна. Определяем источники данных, частоту обновления, требования к latency признаков, объёмы.
3. Реализация и тестирование. Unit-тесты на трансформации, integration-тесты на пайплайн, data validation через Great Expectations.
4. Деплой и мониторинг. Алерты на freshness, quality checks, аномалии в объёмах данных.

Почему стоит доверить это нам

Мы занимаемся дата-инжинирингом и ML с 2016 года. За это время реализовали более 40 проектов — от построения пайплайнов для NLP-моделей до разметки датасетов для компьютерного зрения. Гарантируем воспроизводимость пайплайнов и полную прозрачность процессов. В каждом проекте используем инструменты с открытым исходным кодом, чтобы вы не были привязаны к вендору.

Свяжитесь с нами для бесплатного аудита ваших данных — оценим текущий пайплайн и предложим roadmap. Закажите построение ML-пайплайна под ключ.