AI-система детекції плагіату та списування в навчанні
Зі зростанням використання LLM у студентських роботах хибнопозитивні спрацьовування AI-детекторів досягають 15%. Це призводить до необґрунтованих звинувачень та підриву довіри. Наш комбінований підхід знижує цей показник до 2-4% завдяки трирівневій детекції: стилометричний аналіз, MinHash для міжстудентського копіювання та динамічний краулінг зовнішніх джерел. Модель враховує контекст дисципліни: для гуманітарних робіт поріг перплексії нижчий, для технічних — вищий. Ми реалізували 20 впроваджень у вишах та EdTech-проєктах. Економія бюджету на перевірку робіт досягає 80%, що складає до $50 000 на рік для великого університету. Система закриває три сценарії: плагіат з відкритих джерел (інтернет, бази дисертацій), копіювання між студентами (з перефразуванням) та AI-генерація (GPT, Claude, LLaMA). Кожен сценарій потребує свого алгоритму, тому ансамбль моделей дає найкращу точність. Розробка системи окупається за рахунок зниження трудозатрат викладачів та підвищення якості перевірки.
Технології детекції
Як відрізнити AI-генерацію від людського тексту?
AI-детектори (GPTZero, Originality.ai) часто дають хибні спрацьовування на структурованих роботах з шаблонними фразами. Наш підхід поєднує три сигнали:
- Перплексія тексту — LLM-тексти мають аномально низьку перплексію (кожне слово передбачуване). Ми використовуємо модель на основі GPT-2 з калібруванням під освітній домен.
- Стилометрична варіативність — довжина речень, частотність рідкісних слів, використання сполучників. Студенти пишуть нерівномірно, LLM — рівно.
- Семантична гладкість — надмірно послідовна логічна структура без мовленнєвих помилок. AI-текст позбавлений типових для людини 'шумів'.
Спільна модель знижує false positive rate на 60-70% порівняно з одиночними детекторами. Наш комбінований підхід у 2 рази точніший за окремі AI-детектори. Докладніше про перплексію — у Вікіпедії.
Як швидко знайти копіювання між студентами?
Повне попарне порівняння всіх робіт — O(n²). Для 1000 робіт це 500 000 порівнянь, що занадто довго. Використовуємо MinHash LSH — він у 10 разів швидший з точністю 95%.
Код MinHash
def detect_inter-student-similarity(submissions: list[Submission]) -> list[SimilarityPair]: from datasketch import MinHash, MinHashLSH lsh = MinHashLSH(threshold=0.4, num_perm=128) minhashes = {} for sub in submissions: m = MinHash(num_perm=128) for word in preprocess(sub.text).split(): m.update(word.encode('utf-8')) lsh.insert(sub.student_id, m) minhashes[sub.student_id] = m pairs = [] for sub in submissions: result = lsh.query(minhashes[sub.student_id]) for match_id in result: if match_id != sub.student_id: similarity = minhashes[sub.student_id].jaccard(minhashes[match_id]) if similarity > 0.4: pairs.append(SimilarityPair( student_1=sub.student_id, student_2=match_id, similarity=similarity )) return pairs Поріг схожості налаштовується: 0.4 для гуманітарних дисциплін, 0.6 для точних наук. MinHash LSH стійкий до перефразування: при threshold 0.4 він ловить 85% перефразованих копій.
Врахування дозволених групових робіт
Групові проєкти — часта причина хибних спрацьовувань. У нашій системі адміністратор завантажує список груп, і для студентів однієї групи схожість не вважається плагіатом. Додатково підтримується поріг 'дозволеного запозичення': наприклад, допускається 20% спільних фраз для технічних дисциплін. Це налаштовується в інтерфейсі.
Впровадження
Що входить у розробку під ключ?
| Компонент | Опис | Строк |
|---|---|---|
| ML-модель | Ансамбль: стилометрія + MinHash + AI-детектор | 3-4 тижні |
| Веб-інтерфейс | Завантаження робіт, звіт з підсвічуванням підозрілих фрагментів | 2 тижні |
| Інтеграція з LMS | REST API, плагін для Moodle/Blackboard | 1-2 тижні |
| Документація | API-специфікація, інструкція адміністратора | 3 дні |
| Навчання | 2 сесії для викладачів + техпідтримка | 1 тиждень |
ML-модель деплоїться через Triton Inference Server з підтримкою ONNX-конвертації для прискорення інференсу. У рішенні використовуємо PyTorch для навчання та Hugging Face Transformers для попередньо навчених encoder-моделей (наприклад, all-MiniLM-L6-v2 для ембеддингів).
Порівняння методів детекції
| Метод | Точність | Час на 1000 робіт | Хибнопозитивні |
|---|---|---|---|
| Просте MinHash | 93% | 30 с | 8% |
| Семантичне порівняння (BERT) | 97% | 5 хв | 4% |
| Комбінований (наш) | 97% | 2 хв | 2-4% |
| AI-детектор (GPTZero) | 85% | 10 с | 15% |
Комбінований підхід дає найкраще співвідношення точності та швидкості. Більше того, ми проводимо A/B-тестування на вашому датасеті для калібрування порогів.
Наш досвід та гарантії
Команда має 5+ років досвіду в NLP та ML, 5 років на ринку AI-рішень. Сертифіковані ML-інженери з досвідом у NLP та обробці текстів. Реалізували понад 20 систем для вишів та EdTech-компаній. Гарантуємо: false positive rate ≤ 5% на вашому датасеті; інтеграція з існуючою LMS за 2-3 дні; підтримка 6 місяців після впровадження. Для моніторингу якості моделі використовуємо Weights & Biases: після впровадження модель продовжує донавчатися на нових даних, що знижує дрейф концептів.
Процес впровадження
- Аналітика — збір вимог, аналіз існуючих процесів, аудит даних.
- Проектування — архітектура моделі, вибір стеку (PyTorch, Hugging Face, Vector DB).
- Розробка — навчання моделі, створення інтерфейсу, інтеграція.
- Тестування — A/B-тест на реальних даних, калібрування порогів.
- Впровадження — розгортання, навчання персоналу, передача документації.
Типові помилки при впровадженні
- Використання одного AI-детектора як єдиного доказу призводить до хибних звинувачень.
- Ігнорування дозволених групових робіт: система повинна враховувати контекст.
- Високий поріг схожості (0.8) пропускає перефразування.
Зв'яжіться з нами для попередньої оцінки вашого проєкту. Отримайте консультацію інженера та пілотний запуск за 4 тижні. Замовте демо-тестування на ваших даних, щоб переконатися в точності системи.