Розробка AI-системи детекції плагіату: де ламається точність
Класична перевірка на запозичення порівнює текст за перетином n-грам і впевнено знаходить прямі копії — але ламається там, де студент перефразував абзац або прогнав його через переклад туди й назад.
Лексичні хеші дають майже нульовий збіг, робота потрапляє до «оригінальних», хоча джерело відтворено за змістом. Зворотний бік — цитати, визначення, типові формули й списки літератури: вони збігаються у сотень робіт і тягнуть загальну схожість угору.
Викладач отримує два зустрічні сигнали одночасно: явне запозичення пропущено, а чесна робота позначена як списана. Після двох-трьох таких розборів перевірка перетворюється на формальність — її проглядають, а не використовують як аргумент у розмові зі студентом.
Технічно це конфлікт метрик, а не «поганий алгоритм». Знижуємо поріг схожості фрагментів — зростає повнота, але частка хибних спрацювань на цитатах і формулах злітає. Підвищуємо — втрачаються перефразування й перекладні запозичення.
Одним числом задачу не розв’язати, тому оцінка будується шарами: точний збіг, семантична близькість за векторними представленнями, ознаки машинного перекладу, окрема фільтрація цитованого й довідкового матеріалу за розміткою документа.
Працює це лише за калібрування на розміченому наборі робіт конкретної дисципліни: для есе з історії та для лабораторної з фізики свої пороги й свої правила винятків. Нижче розбираємо, з чого складається така система і як налаштовується довіра викладачів до її вердиктів.
Що дає впроваджена система перевірки робіт на запозичення
Метрики впровадження вважаємо не за кількістю «знайдених збігів», а за чотирма показниками, які бачить керівник напряму: повнота виявлення спірних робіт, частка хибних спрацювань, час розбору однієї роботи викладачем і обсяг ручної вибірки, який потрібен для контролю якості самої системи.
| Показник | До впровадження | Після налаштування під потік |
|---|---|---|
| Частка виявлених спірних робіт | близько 10-15% — лише прямі копії | 90%+ спірних випадків потрапляє у звіт |
| Хибні спрацювання | оцінити неможливо, розбір іде «на око» | 3-5% за налаштованих порогів під дисципліну |
| Час розбору однієї роботи | 20-30 хвилин ручного зіставлення джерел | 3-5 хвилин за звітом із підсвічуванням фрагментів |
| Обсяг ручної вибірки для контролю | до 100% робіт вручну | 5-10% випадкової вибірки |
Повнота виявлення зростає завдяки тому, що перевірка йде за фрагментами, а не за файлом загалом: система зіставляє перефраз, зміну порядку речень і запозичення з робіт минулих років, а не лише дослівні копії.
Пороги спрацювання задаються окремо для есе, рефератів і розрахункових завдань — тому коректні цитати не перетворюються на потік хибних спрацювань, а розбір залишається змістовним.
Звірку ведемо й із зовнішніми корпусами: базами наукових публікацій, відкритими джерелами та сервісами на кшталт Turnitin, якщо виш уже на них орієнтується.
Для викладача це змінює характер роботи: замість суцільного зіставлення він дивиться звіт, де спірні місця позначені разом із джерелом і відсотком збігу.
Ручна вибірка скорочується до контрольної частки — її вистачає, щоб перевіряти якість самої системи й налаштування порогів, а не підміняти її ручною працею. Спірні роботи йдуть на розбір зі збереженим звітом, і за ним можна провести апеляцію без повторного проходу по тексту.
Порівняння підходів до перевірки на плагіат і машинний текст
Схеми перевірки різняться не якістю моделі, а точкою, у якій робота потрапляє в аналіз, і тим, скільки хибних спрацювань готовий прийняти замовник. Тому порівнювати підходи коректно за покриттям потоку й за ціною помилки на конкретному типі робіт.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Пакетна за архівом | Потрібен зріз за модуль або семестр, зокрема звірка робіт між собою всередині потоку | Перевірка йде після здачі — виправити роботу вже не можна; архів доводиться нормалізувати: імена, формати, дублікати |
| Перевірка в момент здачі | Підсумкові та курсові роботи, де ціна пропущеного запозичення висока | Видача результату затримує приймання; потрібна інтеграція із системою здачі й зрозумілий регламент для спірних випадків |
| Вибіркова перевірка | Великі потоки, де суцільний прогін надмірний за навантаженням | Частина порушень залишається невидимою; вибірка має бути випадковою й документованою, інакше рішення легко оспорити |
| Комбінована | Змішані потоки: поточні контрольні плюс підсумкові роботи | Складніше налаштування порогів і ролей, вищі вимоги до розмітки — модель не перевірить те, що не описано в правилах |
На практиці ми частіше збираємо комбіновану схему: швидкий фільтр на здачі відсікає очевидні збіги, а регулярний пакетний прогін за архівом ловить перехресні запозичення й роботи, написані машинним текстом.
Обмеження кожного варіанта фіксуємо в регламенті перевірки — тоді спірні спрацювання розбираються за заздалегідь узгодженими правилами, а не в ручному режимі.
Етапи впровадження: від аудиту корпусу робіт до передачі
Впровадження розбито на етапи, кожен з яких закінчується артефактом, який перевіряють до переходу до наступного.
Порядок жорсткий: спочатку фіксуємо, що саме вважаємо порушенням, і лише потім налаштовуємо автоматику — інакше пороги підганяються під зручні приклади й система розвалюється на живих роботах.
- Аудит корпусу робіт. Розбираємо перевірені викладачами роботи за типами завдань і форматами — текст, код, формули, креслення. Дивимося, як оформлюють посилання і де коректний переказ перетворюється на запозичення.
- Схема потоків. Фіксуємо, звідки надходить робота, де зберігається і в якому вигляді потрапляє до перевіряльного; що робити з чернетками, перездачами й груповими проєктами — інакше дублікати викривляють статистику по студентові.
- Правила цитування й пороги. Налаштовуємо, який обсяг цитати вважається коректним, як розпізнається оформлення посилань і де проходять межі між жанрами: реферат, есе й програмний код оцінюються за різними правилами.
- Калібрування на спірних прикладах. Збираємо пограничні випадки, де рішення неочевидне, і звіряємо оцінки системи з рішеннями викладачів. Розбіжності розбираємо й правимо налаштування, доки спірні роботи не почнуть трактуватися однаково.
- Перевірка на відкладеній вибірці. Прогоняємо систему на роботах, які не брали участі в налаштуванні, і дивимося повноту й точність за кожним типом завдання: де пропустили запозичення, а де позначили коректну цитату.
- Передача й навчання перевіряльників. Віддаємо опис правил, розбір спірних випадків і порядок роботи з апеляцією; перевіряльники вчаться читати звіт і розуміти, на чому ґрунтується кожна позначка.
Артефакти передачі: конфігурації, схеми й регламенти
Після запуску система живе без нас: її налаштовують методисти, нею користуються викладачі, її перевіряє служба якості.
Тому разом із працюючим сервісом передаємо повний комплект артефактів — за ними систему можна експлуатувати, доналаштовувати й передавати іншій команді без звернень до авторів.
- Конфігурація перевірки робіт. Окремі профілі під тип завдання — реферат, лабораторна, курсова, екзаменаційна відповідь: пороги схожості, набір увімкнених перевірок (внутрішній корпус, відкриті джерела, перетини між роботами одного потоку), правила виключення цитат, титульних аркушів і загальновживаних формулювань.
- Схема потоків робіт. Діаграма шляху від завантаження файлу до картки результату: які сервіси беруть участь, де зберігаються оригінали й проміжні зліпки, що відбувається за недоступності навчальної платформи і як дозраховується черга.
- Схема інтеграції з навчальною платформою. Точки виклику (завантаження, виставлення оцінки, апеляція), формат обміну, поведінка за таймауту й повтору запиту, щоб дублікат відправлення не створював другу перевірку.
- Політики доступу перевіряльників. Ролі — викладач, методист, адміністратор, розбір апеляцій: що бачить кожна, кому доступні повні тексти, а кому лише звіт, строк зберігання студентських робіт і журнал доступу.
- Опис словників. Тематичні словники термінів і сталих зворотів, які знижують хибні спрацювання на формулах, шаблонних фразах і цитатах; правила поповнення й версіонування, щоб правка словника не ламала історичні оцінки.
- Регламент розбору спірних випадків. Хто ухвалює рішення, які докази додаються (фрагменти, джерела, частка збігу), у який строк студент отримує відповідь і як зміна регламенту переноситься в конфігурацію перевірки.
- Документація й приймання. Посібник викладача, інструкція з оновлення словників і профілів, схема розгортання, чек-ліст приймальних перевірок на розміченому наборі робіт — із ним якість після будь-якого доналаштування підтверджується відтворювано, а не на око.
Кейс: як знизили хибні спрацювання в потоці перевірок
Потік перевірок у замовника — кілька сотень студентських робіт на тиждень: есе, звіти, лабораторні. Звірка йшла через зовнішній сервіс Turnitin і внутрішній архів минулих років, але результат звалювався в одну чергу ручного розбору без розділення за типами завдань.
Що було до налаштування
Поріг схожості стояв єдиний для всіх робіт, тому в розбір потрапляло близько 40% потоку. Титульні аркуші, списки літератури й стандартні умови задач давали високу схожість і виглядали як порушення.
Викладач витрачав на одну спірну роботу 12–15 хвилин, а підтверджувалося порушення менш ніж у половині випадків — решта був шум.
Що змінили і що стало
Розвели пороги за типами завдань і додали словники винятків: нормалізовані фрагменти відсіюються до порівняння.
Ввели каскад — спочатку автоперевірка за архівом, потім розбір людиною, причому спірний випадок позначається як «потрібен діалог зі студентом», а не як готове обвинувачення.
Частка хибних спрацювань упала з 40% до 8–10%, час розбору однієї роботи скоротився з 12–15 до 4 хвилин, вручну розбирають близько 15% потоку. Підтверджуваність порушень у цій вибірці зросла приблизно вдвічі: перевіряльник бачить спірні тексти, а не потік формальних збігів.
Кожне рішення фіксується в журналі з посиланням на фрагмент — апеляція розбирається за збереженим слідом.
Чим відрізняється пошук запозичень від розпізнавання машинного тексту
Запозичення й машинна генерація — дві різні задачі, і розв’язуються вони різною математикою. Пошук запозичень — це зіставлення з корпусом джерел: робота нарізається на фрагменти, кожен шукається в індексі, знаходяться перетини й рахується їхня вага щодо обсягу тексту. Рішення тут спирається на факт збігу, а не на стиль автора.
Оцінка ознак машинної генерації працює без корпусу. Модель дивиться на статистику самого тексту: рівномірність довжини речень, низьку варіативність лексики, передбачуваність переходів, дефіцит рідкісних зворотів і друкарських помилок.
Це ймовірнісна величина — вона відповідає не на питання «списано чи ні», а на «чи схоже на породження моделі».
Звідси й різні пороги рішення. Для запозичень поріг задається часткою збіглих фрагментів і налаштовується за дисциплінами: у юридичних роботах цитати — норма, тому коректно оформлені посилання виключаються з підрахунку й знижують хибні спрацювання.
Для машинної генерації поріг імовірнісний, його калібрують на розміченій вибірці викладачів, щоб тримати прийнятну частку хибних обвинувачень.
Комбінована оцінка роботи не додає два числа в одне, а будує профіль: частка запозичень за розділами, розподіл підозрілих ділянок за документом, ознаки генерації за абзацами.
Рішення ухвалює людина — система показує, які фрагменти варто відкрити і з чим їх звірити, а розмітку зберігає для розбору апеляції.
Помилки в цих контурах теж різні. Хибне спрацювання щодо запозичень лікується виключенням джерела з індексу або уточненням правил цитування, щодо генерації — перекалібруванням порога під дисципліну й жанр. Тому в інтерфейсі перевіряльника це два незалежні індикатори, а не єдиний бал «оригінальності».
Технічні сумніви: пороги, словники, перенавчання
Сумніви стосуються не самої моделі, а її стикування з навчальним процесом: як оновлювати словники, що робити з уже працюючою перевіркою і як не зламати звичні сценарії викладача. Розбираємо те, що найчастіше спливає на етапі погодження.
Пороги не беремо «середніми по ринку»: калібруємо на конфліктних парах із вашої дисципліни — коректні цитати, формули, типові перефрази. Орієнтири на кшталт Turnitin тримаємо як точку відліку, але поріг вибирається за вашою вибіркою.
Як оновлюються словники й тезаурус?
Словник дисципліни й модель живуть окремо: нові терміни й позначення додаються без перезбирання моделі, зазвичай протягом дня. Еталонний корпус поповнюється за розкладом, минулі версії зберігаються — порівняння з попередніми семестрами залишається відтворюваним.
Уже розгорнута власна система перевірки — усе переписувати?
Ні. Ми підключаємося до її результатів і спочатку йдемо в тіньовому режимі: рахуємо вердикти на історичних роботах, розбіжності розбираємо вручну. Лише після цього спірні групи робіт переходять на нову логіку — без зупинки перевірок.
Як перевірка вбудовується в навчальну платформу?
Через програмний інтерфейс: робота йде на аналіз асинхронно, результат повертається в картку завдання з підсвічуванням збіглих фрагментів і посиланням на джерело. Викладач бачить звичний екран, змінюється лише джерело вердикту.
Що робити зі спірними випадками цитування?
Коректно оформлену цитату модель не штрафує — вона відрізняє її від перефразу, навіть якщо формулювання близьке до джерела. Пограничні випадки йдуть у чергу ручної перевірки з поясненням: що з чим збіглося і чому.
Обговоримо задачу: що уточнити перед оцінкою
Щоб повернутися з оцінкою та планом впровадження, а не із загальними формулюваннями, нам потрібен зріз за чотирма осями: що і в якому обсязі перевіряємо, як влаштований потік робіт, хто ухвалює рішення у спірних випадках і з чим систему належить пов’язати. Нижче — питання, які знімають більшу частину невизначеності до старту.
- Обсяг корпусу. Скільки робіт на рік проходить перевірку і якими мовами; чи є архів минулих років для порівняння і в якому вигляді він зберігається — скани, редаговані документи, вивантаження із системи навчання.
- Потік перевірок. У який момент вмикається детекція: під час завантаження роботи, пакетом за розкладом чи на запит викладача. Від цього залежить, потрібен відгук за секунди чи допустима відкладена черга.
- Склад перевіряльників і права. Хто бачить звіт — викладач, методист, навчальний офіс; чи потрібні обмеження видимості за своїми групами, журнал дій і розділення доступу до вихідних робіт студентів.
- Інтеграції. Що вже використовується — навчальний портал, файлове сховище, пошта, внутрішня авторизація. Наявність програмних інтерфейсів і єдиного входу визначає, буде це ручним вивантаженням чи автоматичним обміном.
- Правила розмітки. Що вважається допустимим запозиченням — цитати, шаблонні формулювання, типові задачі; як зараз фіксують порушення і хто затверджує вердикт у разі спірного збігу.
- Вимоги до даних. Де дозволено зберігати студентські роботи, чи є обмеження щодо зовнішніх сервісів і чи потрібен локальний контур без виходу текстів назовні.
Після відповідей фіксуємо схему рішення і повертаємося з оцінкою та планом впровадження за етапами.
