Реалізація виявлення AI-генерованого тексту
Детекція AI-тексту—гонка озброєнь. Моделі детекції навчаються на текстах конкретних LLM, LLM постійно розвиваються. Жоден детектор не дає 100% точності—це принципове обмеження завдання.
Як працюють детектори
Статистичні методи (Perplexity, Burstiness):
- AI-тексти мають низьку perplexity (передбачувані слова)
- Низьку burstiness (рівномірна довжина речень без «спалахів»)
- Реалізація:
openai/detect-gptалгоритм, GPTZero метод
Водяні знаки (Watermarking):
- На рівні генерації LLM вбудовує статистичний паттерн у вибір токенів
- Детектується без вихідного тексту
- Реалізація:
extended_watermark_processor(John Kirchenbauer та ін.) - Обмеження: працює лише якщо LLM, що генерує, підтримує watermarking
Fine-tuned детектори:
-
roberta-base-openai-detector(OpenAI, тренований на GPT-2) -
Hello-SimpleAI/chatgpt-detector-roberta(ChatGPT) - Проблема: високий false positive для нейтральних академічних текстів
Комерційні API
- Originality.ai: спеціалізація на SEO-контенті, заявлена 97%+ точність
- GPTZero API: поширений у освіті, підтримує російську
- Sapling AI: корпоративний варіант
Обмеження та чесність
False positive rate у найкращих детекторів: 5–15% на людських текстах. Академічні тексти з формальним стилем помилково помічаються як AI-generated. Перефразування через інший LLM обходить більшість детекторів. Використовуйте детекцію як один сигнал, а не як остаточний вирок.