Почему модельная уверенность не равна точности?
GPT-4, Claude 3.5, Gemini — все современные LLM генерируют ответы с субъективно высокой уверенностью даже при ошибочных фактах. Logprob близкий к 0 на галлюцинированном утверждении — стандартная ситуация. RLHF-дообучение усугубляет: модели обучены давать полные связные ответы, а не говорить «не знаю». Поэтому уверенность модели непригодна как сигнал для фильтрации. Необходим внешний верификатор, и мы гарантируем его надёжность.
Без фактчекинга бизнес теряет деньги на репутационных рисках и ошибочных решениях. Внедрение системы верификации окупается за счёт снижения затрат на поддержку и повышения доверия пользователей — экономия может достигать 90% от убытков, связанных с ошибками. Наши инженеры имеют сертифицированный опыт построения таких пайплайнов для финтеха и медицины.
Как устроена архитектура фактчекинга в продакшне?
Декомпозиция на атомарные утверждения
Перед верификацией ответ разбивается на минимальные проверяемые утверждения (claims). «Компания основана, например, в конце 1990-х и занимает 40% рынка» — это два утверждения. Используем LLM-вызов с structured output (JSON Schema) или NLP-пайплайн на основе spaCy + coreference resolution. Без декомпозиции верификатор работает на уровне документа — теряет точность и не локализует конкретную ошибку.
NLI-верификация по источнику
Если источник известен (RAG-база, загруженный документ), каждое утверждение проверяется через NLI (Natural Language Inference). Применяем cross-encoder nli-deberta-v3-base: на входе — пара (утверждение, контекст из источника), на выходе — entailment / neutral / contradiction с вероятностями.
Порог entailment > 0.75 для принятия утверждения. Contradiction > 0.5 — немедленный флаг. Neutral — помечаем как «не подтверждено источником». NLI по источнику точнее self-consistency в 3-5 раз, а latency составляет всего 50–150ms на GPU T4.
Внешняя верификация через поиск
Для утверждений без известного источника — поиск по внешним API: Tavily Search, Bing Web Search API, или специализированные базы (PubMed для медицины, SEC EDGAR для финансов, Wikidata SPARQL для общих фактов). Схема: извлечь именованные сущности (NER) → сформировать верификационный запрос → получить топ-3 результата → прогнать NLI между утверждением и каждым результатом → агрегировать.
Какой метод верификации выбрать?
| Метод | Когда применять | Точность | Latency |
|---|---|---|---|
| NLI по источнику | RAG, document QA | Высокая | 50–150ms |
| Self-consistency (N=5) | Без источника | Средняя | ×N стоимость LLM |
| Внешний поиск + NLI | Общие факты | Средняя–высокая | 500–1500ms |
| Специализированный API | Медицина, право | Высокая в домене | Зависит от API |
Практический кейс: наш опыт
Наш клиент — новостной агрегатор, система автоматического реферирования статей с GPT-4o. После запуска обнаружили: в 12% саммари появляются даты, цифры и имена, которых нет в исходном тексте (выборка 500 саммари).
Внедрили пайплайн: claim extraction через функции OpenAI (structured output) → для каждого claim NLI-проверка против исходного текста (deberta-v3-large-mnli) → claims с entailment < 0.70 помечаются в UI жёлтым цветом с отсылкой к исходнику.
Результат: доля непроверенных утверждений снизилась с 12% до 1.8%. Latency добавила 180–220ms на саммари (батчевый NLI на GPU T4). Опыт наших инженеров позволил добиться точности верификации более 98%.
Сравнение моделей для NLI
| Модель | Размер | Accuracy (MNLI) | Latency (GPU T4) |
|---|---|---|---|
| DeBERTa-v3-base | 440MB | 87.5% | ~50ms |
| DeBERTa-v3-large | 1.5GB | 90.7% | ~150ms |
| BART-large-mnli | 1.2GB | 89.9% | ~120ms |
Как быстро внедрить фактчекинг?
- Аудит текущих ответов: собираем 500+ запросов, классифицируем типы ошибок (даты, цифры, имена).
- Выбор метода верификации под домен: если есть RAG — NLI по источнику, иначе внешний поиск.
- Разработка claim extraction с учётом специфики терминологии.
- Интеграция верификатора в пайплайн: middleware между LLM и UI.
- A/B тест на 10% трафика, замер precision/recall.
- Мониторинг и докрутка порогов.
Сроки: 2–4 недели для интеграции в существующий пайплайн. Сложные домены с внешними API — до 6 недель. Стоимость рассчитывается индивидуально, но окупается за 1–2 месяца за счёт снижения операционных затрат.
Что входит в нашу работу
- Аудит текущих ответов и классификация типов ошибок
- Разработка claim extraction под ваш домен
- Интеграция NLI-верификатора или внешнего поиска
- Настройка порогов и мониторинг метрик
- Документация архитектуры и обучение вашей команды
- Поддержка после внедрения
Закажите консультацию по архитектуре фактчекинга — получите оценку вашего пайплайна и рекомендации. Свяжитесь с нами для расчёта проекта.