Реализация суммаризации текста: экстрактивная и абстрактивная

Реализация суммаризации текста: экстрактивная и абстрактивная

При суммаризации новостного потока с объёмом 10 000 статей в день разработчики сталкиваются с дилеммой: экстракция не даёт связного текста, а абстракция грозит галлюцинациями. Какой подход выбрать и как автоматизировать этот процесс под ключ? Мы это решаем, комбинируя методы и настраивая их под ваши данные.

Проблемы, которые мы решаем

Первая проблема — галлюцинации в абстрактивных моделях. В юридических документах стоимость ошибки может достигать миллионов, поэтому мы предпочитаем гибрид: экстракция для безопасного выделения фактов + дообученная T5 для финального текста. Вторая — ограничение контекстного окна. Документы >128k токенов приходится чанковать с перекрытием 10% и использовать иерархическую суммаризацию: сначала по разделам, затем сводка. Третья — производительность: под нагрузкой 2000 req/s latency p99 не должна превышать 500 мс. Мы решаем это через vLLM, ONNX Runtime и квантование INT8.

Как мы это делаем: стек и кейс

На одном из проектов (агрегатор корпоративных новостей) мы настроили гибридную систему. Первый проход — экстрактивный отбор предложений через TextRank с порогом похожести 0.7. Второй — генерация итога из отобранных предложений с помощью IlyaGusev/rut5-base-absum, дообученной LoRA на новостях компании. Инференс ускорили через ONNX Runtime с dynamic quantization — FLOPS поднялись до 150 TFLOPS на одной A100. Результат: ROUGE-1 0.52, BERTScore 0.68, latency p99 — 320 мс. Это позволило сократить время чтения на 60%.

Почему абстрактивная суммаризация генерирует ошибки?

Модели вроде GPT-4o склонны к hallucination, когда контекст расплывчатый или содержит противоречия. Чтобы это минимизировать, мы используем few-shot промпты с примерами из вашего домена и добавляем constraint: "Не используй факты, отсутствующие в тексте". Для критичных сценариев эффективен chain-of-thought — модель сначала выделяет факты, а потом формулирует резюме. Важно также учитывать, что качество суммаризации напрямую зависит от репрезентативности обучающих данных: дообучение на 10 000 документов вашего домена может повысить BERTScore на 0.05. По нашим тестам, гибридная схема с дообученной T5 превосходит чистую экстракцию по ROUGE-1 в 1.3 раза.

Как выбрать между экстрактивной и абстрактивной суммаризацией?

Сравнение подходов по критериям

Процесс работы

1. Анализ требований: тип контента, объём токенов, метрики успеха (ROUGE, BERTScore, latency).
2. Выбор архитектуры: экстрактивная, абстрактивная или гибрид.
3. Тренировка/дообучение: LoRA fine-tuning для абстрактивной модели.
4. Интеграция: REST/gRPC API на базе Docker-образа.
5. Тестирование: ROUGE/BERTScore + A/B тест на живых данных.
6. Деплой: vLLM, ONNX, мониторинг через Weights & Biases.

Сроки ориентировочно

Базовая экстрактивная суммаризация настраивается за 3 рабочих дня. Абстрактивная с дообучением и production-ready интеграцией — от 2 до 4 недель. Стоимость рассчитывается индивидуально: свяжитесь с нами — оценим ваш проект.

Что входит в работу

• Архитектурная документация (model card, pipeline diagram).
• Код модели в Docker-образе с ONNX runtime.
• Интеграционный тест (образец вызова API).
• Доступ к мониторингу MLflow.
• Обучение команды (2 часа вебинар с разбором кейсов).
• Гарантия 3 месяца на сопровождение.

Как оптимизировать latency для production?

Оптимизированная на ONNX модель работает в 2-3 раза быстрее базового PyTorch. Для высоких нагрузок мы используем vLLM с непрерывным батчингом — это снижает latency p99 до 300 мс при 1000 req/s. Закажите пилотный проект — мы проведем A/B тест на ваших данных.

import requests data = {"text": "...", "max_tokens": 150} response = requests.post("https://your-api.com/summarize", json=data) print(response.json()["summary"])