AI-суммаризация длинных текстов: как уместить всё в контекстное окно
Суммаризация длинного текста сразу упирается в ограничение контекстного окна модели. GPT-4o принимает 128K токенов (примерно 100K слов), Claude 3 — 200K. На первый взгляд этого достаточно, но юридические договоры на 200 страниц, технические отчёты или книги часто превышают лимит. Даже если текст влезает, длинный контекст увеличивает стоимость и задержку ответа. Например, типовой договор поставки может содержать 150 страниц мелкого текста — прямой запрос будет стоить ~$0.03 за обработку, но результат может быть неполным из-за эффекта "потеря середины". Об этом говорит исследование Lost in the Middle — модель хуже запоминает информацию из середины документа. Поэтому для больших документов нужны стратегии декомпозиции.
Мы используем три основные стратегии: прямую суммаризацию, Map-Reduce и Refine. Каждая подходит для своего объёма и требований к качеству. Ниже — детали.
Стратегии для текстов разной длины
| Стратегия | Объём токенов | Время | Качество | Сложность |
|---|---|---|---|---|
| Прямая суммаризация | до 80K | Низкое | Высокое | Низкая |
| Map-Reduce | до 500K+ | Низкое (параллельно) | Среднее | Средняя |
| Refine | любой | Высокое (последовательно) | Очень высокое | Высокая |
Прямая суммаризация — работает для текстов до 50–80K токенов. Отправляем весь текст одним запросом, просим суммаризировать. Просто, дёшево по реализации. Ограничение — стоимость токенов и latency (модель обрабатывает большой контекст медленнее).
Map-Reduce — для текстов, не влезающих в контекст. Разбиваем на чанки → суммаризируем каждый чанк → суммаризируем суммари:
Пример реализации Map-Reduce
async def map_reduce_summarize(text: str, chunk_size: int = 4000) -> str:
chunks = split_text(text, chunk_size)
chunk_summaries = await asyncio.gather(*[
summarize_chunk(chunk) for chunk in chunks
])
combined = "\n\n".join(chunk_summaries)
if count_tokens(combined) > chunk_size:
return await map_reduce_summarize(combined, chunk_size)
return await summarize_final(combined)asyncio.gather — параллельные запросы к API для всех чанков одновременно. Для 10 чанков время почти такое же, как для одного.
Refine — суммаризируем первый чанк, потом уточняем суммари с каждым следующим чанком. Итоговое суммари последовательно обогащается. Качество выше, чем Map-Reduce для связных нарративных текстов, но медленнее — запросы последовательные.
Как управлять токенами и избежать ошибок?
Главная ошибка — не считать токены до отправки. tiktoken (Python) или gpt-tokenizer (JS) дают точный подсчёт:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
token_count = len(enc.encode(text))
if token_count < 100_000:
return await direct_summarize(text)
elif token_count < 500_000:
return await map_reduce_summarize(text, chunk_size=8000)
else:
return await map_reduce_summarize(text, chunk_size=4000)Разные типы суммари — разные промпты:
- Executive summary (для руководителей): 3–5 предложений, только ключевые решения и цифры
- Детальный пересказ: структурированный список с подзаголовками
- Список ключевых пунктов: буллеты без связного текста
- Ответ на вопрос: «что это за документ и что в нём нужно сделать»
На мобильном — предлагаем пользователю выбрать тип суммари перед запуском.
Как избежать дублирования в суммаризации?
При Map-Reduce финальная суммаризация может повторять похожие пункты из разных чанков. Дублирование устраняется явным указанием в промпте: «Объедини похожие пункты, не повторяй одну мысль дважды». Для юридических и финансовых документов используем structured output в формате JSON с фиксированными полями (parties, obligations, deadlines, key_figures). Это надёжнее свободного текста.
Как настроить суммаризацию для вашего документа
- Определите максимальный размер контекста модели (например, 128K для GPT-4o).
- Разбейте текст на чанки по 4–8K токенов с учётом границ абзацев.
- Выберите стратегию: прямая — для коротких текстов, Map-Reduce — для средних, Refine — для связных нарративов.
- Настройте промпты для каждого типа суммари (executive, детальный и т.д.).
- Реализуйте кеширование по хешу документа и отправку прогресса через SSE.
Прогресс суммаризации на мобильном
Суммаризация 100-страничного документа занимает 15–60 секунд. Без индикатора прогресса — плохой UX. Серверная часть отправляет события через SSE:
event: progress data: {"step": "chunking", "total_chunks": 12, "completed": 0}
event: progress data: {"step": "summarizing", "total_chunks": 12, "completed": 4}
event: result data: {"summary": "...", "word_count": 450}На мобильном клиенте — прогресс-бар с описанием шага, анимированный текст «Обрабатываю страницы 1–25...».
Кеширование
Суммаризация одного документа стоит денег. Кешируйте результат по хешу содержимого документа + типу суммари. Redis с TTL 7–30 дней — стандартный подход. Если документ изменился — инвалидация кеша по document_id.
Что входит в нашу работу?
- Анализ задачи и выбор стратегии (прямая, Map-Reduce, Refine)
- Разработка серверного pipeline с интеграцией модели
- Настройка кеширования и стриминга
- Мобильный UI с выбором типа суммари и прогресс-баром
- Тестирование на реальных документах заказчика
- Документация, обучение команды, поддержка 2 недели после запуска
Этапы и сроки
| Этап | Срок |
|---|---|
| Анализ и проектирование | 2–3 дня |
| Реализация pipeline (Map-Reduce + стриминг) | 1–2 недели |
| Мобильный UI и тестирование | 1–2 недели |
| Полный запуск с кешированием и обучением | 3–5 недель |
Оценим ваш проект за 1 день — свяжитесь с нами для консультации. Получите демо за 2–3 дня.
