Реализация классификации текста: от TF-IDF до LLM

Реализация классификации текста (Text Classification)

Представьте: вы автоматизируете обработку входящих обращений, а модель путает претензию с предложением. Или система рубрикации новостей стабильно ошибается в трети заголовков. Стандартный BERT fine-tuning даёт точность 95% — но только если правильно выбрана архитектура, обработан дисбаланс классов и настроен деплой с учётом latency. Мы поможем вам реализовать классификацию текста под ключ: от TF-IDF для быстрых прототипов до кастомных LLM-пайплайнов. За двадцать лет работы в NLP мы накопили опыт, позволяющий сходу отсекать нежизнеспособные варианты. Оценим вашу задачу за один день.

Классификация текста — это маршрутизация тикетов, фильтрация спама, модерация контента, анализ тональности и выделение намерений. На каждом этапе — свои ловушки: семантический дрейф, редкие классы, мультиязычные корпуса. Мы решали такие задачи для 15+ проектов в ритейле, финтехе и медиа. При этом мы гарантируем качество по оговорённым метрикам: F1, precision, recall — и предоставляем репорт с разбором ошибок.

Как выбрать подход к классификации текста?

Выбор архитектуры зависит от параметров задачи:

• Количество классов: 2–5 или 20–100+ (иерархическая)
• Объём разметки: наличие 500+ примеров на класс
• Язык: английский, русский, мультиязычный
• Требования к latency: реальное время (<100ms) или batch
• Потребность в интерпретируемости: объяснение решения

Ошибка — автоматически тянуться к BERT, когда задача решается логистической регрессией за 50ms. Стоимость разработки варьируется, но правильно подобранный пайплайн окупается за счёт экономии на ручной обработке.

Сравнение методов классификации текста

Почему BERT не всегда лучше Logistic Regression?

На одном проекте мы заменили BERT на TF-IDF + LightGBM и получили тот же F1, но latency упала с 40ms до 2ms. Для чётких тематик классический ML часто даёт отличный результат без GPU. Всегда начинайте с простого бейзлайна — это экономит ресурсы и упрощает интерпретацию.

Как бороться с дисбалансом классов?

Реальные данные почти всегда несбалансированы. Стратегии:

• Class weights передаются в loss function
• Oversampling (SMOTE для эмбеддингов) или аугментация текста
• Focal Loss для экстремального дисбаланса (1:100+)

Мониторьте per-class F1, не только accuracy — accuracy 95% при 5% редкого класса ничего не значит.

Какие метрики важны для классификации?

Основные метрики: F1 Macro, Confusion matrix, Calibration curve.

В production настройте мониторинг distribution shift через KL-дивергенцию: если метрика выходит за пределы исторического коридора — запускайте переобучение.

Как внедрить классификацию: пошаговый план

1. Анализ данных и выбор архитектуры. Оцениваем распределение классов, объём и качество разметки. Определяем, подойдёт ли TF-IDF или нужен трансформер.
2. Прототипирование. На основе анализа строим baseline (TF-IDF + ML) и сравниваем с BERT fine-tuning. Фиксируем метрики.
3. Обучение и оптимизация. Для трансформеров используем квантизацию и экспорт в ONNX. Настраиваем гиперпараметры под latency и accuracy.
4. Интеграция через REST/gRPC. Оборачиваем модель в сервис, добавляем мониторинг дрейфа.
5. Тестирование и план переобучения. Проводим A/B-тест на реальном трафике, настраиваем алерты.

Многоклассовая vs многометочная классификация

Для multilabel (текст имеет несколько меток одновременно): замените softmax на sigmoid, используйте BCEWithLogitsLoss, порог настройте по F1.

Деплой классификатора: ONNX и квантизация

Оптимизация для inference:

• ONNX export: ускорение CPU inference в 2–4x
• Quantization (INT8): уменьшение памяти в 4x, деградация accuracy < 1%
• TorchScript: для production PyTorch serving

Согласно документации ONNX Runtime, export модели в ONNX позволяет достичь latency 20–50ms на CPU для 512-токенного текста. Это в 2–4 раза быстрее оригинальной PyTorch модели.

Что входит в работу

• Анализ данных и подготовка разметки (до 5000 примеров)
• Выбор архитектуры и прототипирование (3 варианта)
• Обучение и оптимизация модели (GPU кластер)
• Интеграция через REST API или gRPC
• Документация и обучение команды
• Мониторинг и план переобучения

Сроки реализации

• Baseline (TF-IDF + ML): 3–5 дней
• BERT fine-tuning: 1–2 недели
• Production с мониторингом: 3–5 недель

Свяжитесь с нами — оценим вашу задачу за один день. Получите консультацию по проекту — закажите оценку.

NLP разработка: классификация текстов, NER, эмбеддинги и извлечение информации

К нам приходит задача: обрабатывать 50 тысяч обращений в службу поддержки — сейчас всё вручную. Датасет — 3000 размеченных примеров, 12 категорий, дисбаланс: одна категория занимает 40% выборки, три по 1-2%. Baseline accuracy — 78%. Звучит неплохо, пока не смотришь на recall по редким классам: 0.31, 0.44, 0.28. Именно эти классы — жалобы и угрозы оттока — важнее всего бизнесу.

Это типичный проект NLP разработки. Проблема не в алгоритме, а в том, что accuracy — не та метрика. Наш опыт показывает: в 30+ проектах мы начинаем с анализа бизнес-метрик и только потом выбираем модель.

Почему accuracy — не та метрика для редких классов?

Accuracy игнорирует дисбаланс. Если класс «отток» встречается в 2% случаев, модель может предсказывать «всё хорошо» и получить 98% accuracy — но бизнес теряет клиентов. Решение: F1 macro (усреднение по всем классам) или weighted F1. Для NER — strict entity F1 (только точные совпадения). Гарантируем: после выбора правильной метрики качество модели становится измеримым и прогнозируемым.

Классификация текста: от BERT до дистилляции

BERT-подобные модели — стандарт для классификации. ruBERT-base или ruBERT-large от DeepPavlov для русского языка. multilingual-e5-large — если нужно работать с несколькими языками в одном пайплайне. XLM-RoBERTa-large — сильный multilingual backbone.

Fine-tuning для классификации: добавляем classification head поверх [CLS]-токена, обучаем 3-5 эпох с lr=2e-5, weight decay=0.01. При дисбалансе — weighted CrossEntropyLoss или focal loss с gamma=2.0. Пишите — покажем code snippet.

Кейс с дисбалансом. Датасет — 3000 примеров, дисбаланс 1:20. Решение: class_weight через sklearn + CrossEntropyLoss. Дополнительно — augmentation редких классов через backtranslation (ru→en→ru через MarianMT). Recall по редким классам вырос с 0.31 до 0.67 при незначительном падении accuracy (76%→74%). Полная NLP разработка под ключ заняла 3 недели.

Дистилляция для production. BERT-large даёт F1 0.89, но inference на CPU — 180ms. Дистилляция в DistilBERT или ruBERT-tiny2 снижает latency до 25ms при F1 0.84. Экспорт в ONNX Runtime даёт дополнительный 1.5-2x. Оценим проект — рассчитаем экономию на инфраструктуре.

NER: распознавание именованных сущностей

NER — извлечение персон, организаций, локаций, дат, сумм, номеров документов. Для общих категорий (PER, ORG, LOC) предобученные модели работают хорошо. Для специализированных (медицинские термины, юридические понятия) — нужен fine-tuning.

Разметка данных. Основная стоимость NER-проекта. Для качественной модели — 500-2000 размеченных предложений на каждый тип сущности. Инструменты: Label Studio (open source) или Prodigy (от создателей spaCy). Формат IOB2 — стандарт.

Архитектура. Token classification поверх BERT: каждому токену метка (B-PER, I-PER, O). spaCy 3.x с transformer pipeline — удобный production-выбор.

Вложенные сущности. Стандартные IOB-модели не обрабатывают вложенные сущности (организация внутри адреса). Для таких задач — span-based NER: SpanBERT или SpERT. Сложнее, но правильно.

Постобработка обязательна. Модель предсказывает токены — нужны нормализованные сущности. Дата — dateparser. Суммы — regex + валидация. Имена — дедупликация через rapidfuzz. Входит в нашу стандартную поставку.

Sentiment Analysis и opinion mining

Бинарная классификация positive/negative работает с BERT из коробки. Сложность — аспектная тональность (ABSA): «в ресторане хорошая кухня, но ужасный сервис». Для ABSA: aspect extraction (NER) + sentiment по каждому аспекту. Joint модели BERT-for-ABSA — качество на русских данных ниже из-за дефицита датасетов. RuSentiment, SentiRuEval — основные ресурсы.

Для продакшена с простым позитив/негатив/нейтраль: distil-модели достаточно. Три класса, balanced датасет, 2000+ примеров — F1 macro 0.82-0.87 за 1-2 дня.

Суммаризация текста

Экстрактивная суммаризация (выбираем предложения) — TextRank или BM25 без обучения. Быстро, не галлюцинирует. Хорошо для длинных документов.

Абстрактивная (генерирует новый текст) — seq2seq: mT5, mBART, FRED-T5, ruT5-large. Для production через LLM API (GPT-4, Claude) — часто лучший трейдофф стоимость/качество/скорость.

Эмбеддинги: векторные представления текста

Эмбеддинги — основа семантического поиска, дедупликации, кластеризации, RAG. Качество критически влияет на downstream задачи.

Модели. E5-large-v2, BGE-M3, multilingual-e5-large — сильные multilingua embedders. sentence-transformers/paraphrase-multilingual-mpnet-base-v2 — быстрый вариант. Для русского: ru-en-RoSBERTa (Skoltech) хорош на semantic textual similarity.

Как оценить качество эмбеддингов? MTEB benchmark — стандарт. Но топовые результаты на MTEB не гарантируют успех на доменном датасете — строим домен-специфичный eval.

Fine-tuning эмбеддингов. Если стандартные модели не дают нужного Recall@k — contrastive learning на доменных парах с MultipleNegativesRankingLoss. 500-2000 пар, 1-3 эпохи — 5-15% прирост Recall@k.

Размерность и хранение. E5-large: 1024 dim, float32 — 4KB на вектор. При 10M документов — 40GB. Квантизация int8 снижает до 10GB. FAISS IVF_PQ — ещё компактнее, но с потерями. Входит в наши рекомендации по деплою.

Извлечение информации

Структурированное извлечение — одна из частых задач. Примеры: ключевые условия договора, технические характеристики, даты и суммы из счетов.

1. Regex + rule-based. Для ИНН, ОГРН, сумм, дат — надёжнее нейросети. Не требует данных.
2. NER + постобработка. Для вариативных форматов.
3. LLM с structured output. GPT-4 / Claude с JSON schema — для сложных документов. Стоимость: ~$0.001-0.01 на документ. Для 10k+ документов/день — считаем экономику.

Гарантируем гибрид: regex/NER для типовых полей + LLM для edge cases. Сертификат доверия: 5 лет на рынке, >30 проектов.

Этапы работы

Прототип на существующих данных — 1-3 недели. Production-система с CI/CD — 1.5-2.5 месяца. Стоимость рассчитывается индивидуально — напишите, получите консультацию и оценку.

Что входит в работу

• Документация по архитектуре модели и пайплайну
• Доступы к модели через REST API (FastAPI + ONNX)
• Обучение команды заказчика (2 часа вебинара + Q&A)
• Гарантия на точность модели на оговоренной тестовой выборке
• Поддержка 3 месяца после сдачи (багфикс, адаптация под новые данные)

Наш опыт

Более 5 лет в NLP, 30+ проектов от классификации до RAG-систем. Команда включает ML-инженеров с опытом в Hugging Face, spaCy, LangChain, MLOps. Используем vLLM, Kubeflow, Weights & Biases — продакшен-стек, а не игрушки. Пишите — оценим проект за 2 дня.