Каждый день компании обрабатывают тысячи документов: договоры, счета, отчёты, новости. Ручной поиск сущностей — сторон, сумм, сроков — занимает часы и даёт 70–80% точности. Типичная ошибка: пропуск даты или неправильная привязка контрагента — ведёт к штрафам и срыву сроков. Information extraction (IE) решает эту проблему: извлекает сущности, отношения и события с точностью до 95%. Извлечение фактов из текста перестаёт быть рутиной.
Мы автоматизируем полный цикл: от парсинга до нормализации. Используем LLM (GPT-4o, Claude, LLaMA 3) и классические NLP-пайплайны. Выбираем подход под задачу — или комбинируем. Гибридная архитектура позволяет достичь F1 до 95% при задержке менее 200 мс. Средняя экономия на ручной обработке — до 60% затрат или 500 человеко-часов в месяц.
Какие типичные ошибки допускают при извлечении данных?
При извлечении из договоров часто путают названия компаний из-за опечаток или сокращений — «ООО Ромашка» и «Ромашка ООО» считаются разными. Нормализация с помощью edit distance (Levenshtein) и synonym dictionaries решает проблему. Дубликаты сущностей — одна и та же информация встречается в разных документах с разными атрибутами. Используем entity linking через граф знаний. Наконец, неоднозначность контекста: слово «счёт» может быть банковским счётом или счётом на оплату. Disambiguation через LLM с few-shot примерами.
Почему LLM выигрывает у классических пайплайнов?
LLM со structured output (Pydantic, OpenAI function calling) справляются с извлечением без тонкой настройки. Пример:
from pydantic import BaseModel from openai import OpenAI class CompanyInfo(BaseModel): name: str revenue: float | None revenue_year: int | None ceo: str | None headquarters: str | None employees_count: int | None client = OpenAI() response = client.beta.chat.completions.parse( model="gpt-4o-mini", messages=[{ "role": "user", "content": f"Извлеки информацию о компании из текста:\n{text}" }], response_format=CompanyInfo, ) result = response.choices[0].message.parsed Этот код работает для любых текстов — от финансовых отчётов до новостей. Без разметки, без pipeline. Но для >1000 док/час и latency <100 мс классический pipeline дешевле и быстрее. Недавно на проекте с маркетплейсом мы извлекли 500k+ товарных карточек из 1 млн PDF. Использовали комбинацию OCR (Tesseract) + LayoutLM для таблиц + GPT-4o для извлечения атрибутов. F1 на тестовой выборке — 93%.
Сравнение подходов
| Характеристика | LLM-based | Classic pipeline |
|---|---|---|
| Точность (F1) | 75–95% | 85–95% |
| Задержка | 1–10 с на запрос | <100 мс |
| Гибкость | Высокая | Низкая |
| Стоимость на 10k док | Средняя | Низкая |
| Необходимость данных | Нет | Есть (размеченные данные) |
| Интеграция | REST API | Можно embed |
Как извлечение фактов из текста решает проблему обработки документов?
Извлечение фактов из текста — ключевой этап построения баз знаний. В типичном проекте мы проходим пять этапов:
| Этап | Длительность | Результат |
|---|---|---|
| Аналитика | 2–5 дней | Выделение целевых сущностей и отношений |
| Проектирование | 2–10 дней | Выбор архитектуры (LLM, BERT, spaCy) |
| Реализация | 1–4 недели | Написание кода, настройка пайплайнов |
| Тестирование | 1 неделя | Расчёт метрик, A/B-тесты |
| Деплой | 2–5 дней | Контейнеризация, REST API, документация |
Сроки: от 2 недель до 2 месяцев в зависимости от сложности. Стоимость рассчитывается индивидуально.
Что входит в работу?
- Аналитический отчёт с выделенными сущностями и отношениями
- Обученная модель или пайплайн (LLM или классический)
- REST API с документацией (OpenAPI)
- Интеграция с CRM (Bitrix24, 1С и др.)
- Обучение сотрудников (до 5 дней)
- Техническая поддержка на 3 месяца
Пошаговый процесс внедрения
- Аудит данных — сбор образцов документов, определение целевых сущностей и метрик качества
- Выбор архитектуры — тестирование LLM, BERT, spaCy на ваших данных, фиксация baseline
- Разработка пайплайна — написание кода, настройка inference, оптимизация latency
- Тестирование — расчёт Precision/Recall/F1, A/B-тесты, корректировка
- Деплой — контейнеризация, развёртывание на вашей инфраструктуре или в облаке
- Сопровождение — мониторинг метрик, дообучение при изменении данных
Оценка качества извлечения
Метрики Precision/Recall/F1 считаются по каждому типу сущностей. Для отношений — relation-level F1, для слотов — accuracy заполнения. Типичные результаты: 90–95% F1 на отчётах, 75–85% на новостях.
Детальнее про метрики: F1 — гармоническое среднее Precision и Recall. Для каждого типа сущности считаем отдельно. Если важна полнота (например, поиск всех упоминаний), настраиваем пайплайн с приоритетом Recall (до 98%) за счёт точности.
Гарантируем: фиксированные метрики качества в договоре, сертифицированные инженеры с опытом 10+ проектов (NLP, Computer Vision, LLM), поддержка после внедрения. Если вы хотите автоматизировать извлечение данных из ваших документов, свяжитесь с нашими инженерами для консультации. Закажите пилотный проект без предоплаты — оценим ваш кейс за 2 дня.