Чому прогнозування результату судових справ дає збої
Прогнозування результату судових справ ламається не на моделі, а на даних. Різнорідні тексти рішень надходять із різних джерел: один суд віддає структурований вивантаж, інший — скан без текстового шару, третій — фрагмент з обрізаною мотивувальною частиною. Після очищення залишається те, що вціліло, і прогноз будується за неповною картиною.
Далі вступає в дію якість навчальної вибірки. Єдиної розмітки немає: в одному рішенні результат читається з резолютивної частини, в іншому — лише з мотивування, а мирові угоди й відмови від позову змішуються з програшем. Частка суперечливих прикладів зростає, і модель навчається на шумі.
Коли розмітка шумна, модель іде коротким шляхом — спирається на формальні ознаки. Номер суду, склад учасників, шаблонні звороти й довжина тексту починають важити більше, ніж фабула та правова позиція. Ззовні це виглядає як робочий прогноз, але перевірка на нових справах його розсипає.
Окремий провал — помилки на рідкісних категоріях спорів. Масові справи обчислюються тисячами, рідкісні — десятками, і усереднена оцінка по всій вибірці їх просто приховує.
Там, де прикладів мало, частка правильних відповідей падає кратно, а саме такі спори найчастіше й потрібно оцінювати.
Тому розбір починається не з моделі, а з даних: як різнорідні тексти рішень приводяться до зіставного вигляду, як будується розмітка і як якість перевіряється окремо за рідкісними категоріями. Нижче — що ми робимо на кожному кроці.
Що змінює модель прогнозу в роботі юридичної команди
Модель прогнозу не скасовує правову позицію юриста — вона дає команді спільну точку відліку. Ефект рішення вимірюємо за розкидом оцінок між юристами, часом до першої оцінки перспектив і часткою спорів, де прогноз підтвердився фактичним результатом.
Єдина оцінка перспектив у всіх юристів
- Раніше щодо однієї справи юристи давали оцінки від «свідомо програшна» до «виграємо» — клієнт обирав стратегію за чужою інтуїцією.
- Тепер оцінка перспектив спору рахується за формалізованим набором ознак: предмет і підстава вимоги, процесуальні порушення, усталеність практики за аналогічними складами.
- Зниження розкиду оцінок між фахівцями — до кількох відсоткових пунктів; юрист окремо фіксує те, що не потрапляє в дані: поведінку контрагента, готовність до мирової, хід переговорів.
Швидкість первинного аналізу матеріалів
- Розбір тому матеріалів і добірка релевантної практики йдуть за один прохід — години замість днів очікування.
- Модель розмічає сторони, хронологію та ключові процесуальні епізоди: юрист перевіряє готову структуру, а не збирає її вручну.
- Єдиний стандарт оцінки тримається й на нових справах: результат за типовими спорами не залежить від того, хто взяв справу в роботу.
«Ми перестали обговорювати, чия оцінка правильніша, і перейшли до фактів та стратегії. Спірні справи тепер видно одразу — за низькою впевненістю прогнозу». — керівник юридичної команди
Масив для навчання збирається з відкритих правових баз, зокрема КонсультантПлюс, та знеособлених архівів практики: дані замовника не залишають його контур.
Підходи до побудови моделі: порівняння варіантів
Вибір підходу визначається не «силою» моделі, а тим, на яких даних вона навчається і хто відповідає за помилку в конкретній справі. На практиці порівнюють три робочі альтернативи — від швидкого старту на готовому рішенні до моделі, донавченої на архіві власних рішень.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Зовнішній сервіс прогнозу | Потрібен результат до накопичення власного корпусу, однотипний потік справ | Навчений на чужій практиці, донавчання на власних рішеннях недоступне, пояснення висновку знеособлене |
| Власна модель із донавчанням на власних рішеннях | Є архів судових актів і юристи, готові розмічати результати | Потрібен корпус і розмітка, якість зростає поступово, потрібен контроль зміни практики |
| Гібридна схема: модель плюс експертні правила | Різнорідні категорії спорів, висока ціна помилки | Складніша в підтримці: правила й модель ведуть разом |
Зовнішній сервіс: чим платите за готовність
Готовий сервіс прогнозу дає оцінку одразу, без збору корпусу та розмітки. Платите за це керованістю: оновлення моделі надходить ззовні, на власній практиці її не донавчити, а на рідкісних категоріях справ якість просідає. Окремо вирішується питання передачі матеріалів справи на сторону.
Гібридна схема: модель плюс експертні правила
Частину рішень ухвалюють не ймовірності, а правила: процесуальні строки, підсудність, категорія та обсяг вимог відсікають свідомо неможливі результати, модель ранжує решту.
Якщо впевненість нижча за поріг, справа переходить до юриста — так обмеження моделі стають явними, а не прихованими. Донавчання на власних рішеннях іде постійно: кожна закрита справа уточнює ваги.
Етапи впровадження: від аудиту даних до передачі контуру
Впровадження системи прогнозування результату судових справ починається не з моделі, а з корпусу рішень і заздалегідь зафіксованої метрики. Етапи впровадження повторюють звичайний інженерний цикл: дані, розмітка, навчання, сліпа перевірка, передача. Нижче — сім кроків, які проходять до запуску.
Аудит корпусу та постановка цільової метрики
Перевіряємо повноту корпусу за інстанціями, періодами й типами спорів, якість вилучення тексту, дублікати та пропуски.
Цільову метрику фіксуємо до навчання: частка збігів прогнозу з підсумковим рішенням і повнота за кожним класом результатів — інакше зростання якості не відрізнити від підгонки.
- Аудит корпусу: склад, повнота, дублікати, якість текстів.
- Розмітка вибірки: результат, статті, суми вимог, процесуальні ознаки.
- Схема ознак і зв'язок рішення з матеріалами справи.
- Навчання з калібруванням імовірностей за класами.
- Перевірка на сліпих прикладах юристів.
- Розбір розбіжностей з експертами та донавчання.
- Передача контуру супроводу: регламенти, моніторинг, відкат.
Перевірка на сліпих прикладах юристів
Вибірку готують юристи замовника: вони дають висновок до того, як побачать прогноз, і ми звіряємо обидва результати. «Інструмент вважаємо робочим, коли він збігається з позицією юриста в обумовленій частці справ», — фіксує огляд практики з корпоративних спорів.
Саме тут видно, де модель плутає результати і яких ознак бракує у схемі.
Що передаємо на руки: схеми даних, регламенти, інструкції
Комплект для прогнозування результату судових справ не можна передати формулою «модель навчена, точність висока» — він живе на закритих матеріалах справ.
Передаємо набір документів, за яким ваші юристи та технічна команда працюють без нас: що система вміє, на яких даних навчалася, хто і як її оновлює.
- Картка моделі: де прогноз стійкий, де зміщений і за якого порогу впевненості він не видається.
- Регламент розмітки: як розбираються рішення, як тлумачаться спірні випадки, як формується контрольна вибірка.
- Схема потоків даних: шлях від завантаження матеріалів справи до прогнозу та точки, де дані не залишають контур.
- Інструкція для юристів: як ставити запит, як читати відповідь, коли ручна перевірка обов'язкова.
- Матриця доступу до матеріалів справ: ролі, обсяг видимих даних, журнал звернень.
- Довідник ознак: які фактори модель враховує і показує в поясненні до прогнозу.
- Порядок моніторингу якості: які метрики знімаються і який зсув зупиняє видачу прогнозів.
Картка моделі та межі застосовності
Картка фіксує категорії справ, де прогноз стійкий, і ті, де він зміщений: нетипова інстанція, рідкісний склад вимог, неповний корпус. Поріг впевненості виставлено так, що нижче нього система віддає не висновок, а перелік факторів із посиланнями на фрагменти справи.
Регламент перенавчання та ролі в команді
Регламент описує цикл оновлення: хто готує вибірку, хто перевіряє розмітку, хто затверджує випуск і за якими метриками, як виконується відкат. Ролі закріплено за людьми з обох сторін — юристами й технічною командою, — щоб якість не залежала від одного фахівця.
Розбір впровадження: як вирівнялися оцінки перспектив
Юридична практика на 40 юристів, договірні спори, потік близько 60 справ на місяць. Первинна оцінка перспектив вирішувала, іти до суду, на переговори чи відмовитися, — тому в розборі впровадження ми заміряли метрики до і після на одному й тому самому потоці справ.
Що було до впровадження
Оцінку готував молодший юрист за 3-5 робочих днів: піднімав практику за складом спору, шукав схожі справи, писав висновок на дві сторінки.
Розкид оцінок юристів був головною проблемою — за однією фабулою старший і молодший розходилися на 25-30 відсоткових пунктів, причому молодші частіше оцінювали перспективи оптимістичніше. Збіг із підсумковим рішенням за 300 закритими справами — близько 60%.
На молодших юристах лежала вся первинна рутина: до 70% їхнього часу йшло на оцінки замість ведення справ.
Що вийшло після
Модель навчили на внутрішньому архіві закритих справ і текстах судових актів; основу становив CatBoost — він дає калібровану ймовірність і працює в закритому контурі, документи не залишають фірму.
Додали розбір факторів: склад спору, суму вимог, регіон, усталеність практики за схожими справами. Строки первинної оцінки скоротилися до 15-20 хвилин на справу — юрист завантажує документи, отримує ймовірність і пояснення, розбирає розбіжності.
Розкид оцінок усередині команди впав до 5-7 відсоткових пунктів, збіг із підсумковим рішенням зріс до 84%, а молодші юристи повернулися до ведення справ.
Раніше спірне питання вирішувалося тим, хто переконливіше наполягав. Тепер обговорення точиться навколо факторів, які система виділила, — керівник практики.
Чим відрізняється прогноз за суттю спору від оцінки ризиків?
Різниця між цими задачами — у цільовій ознаці. Прогноз за суттю спору відповідає на питання «чим закінчиться справа»: ознака береться з резолютивної частини — задоволено, відмовлено, задоволено частково.
Така ознака дискретна, спостережувана й підтверджена документом. Тому її перевіряють на відкладеній вибірці без ручної експертизи, а метрика — частка збігів із резолютивною частиною та калібрування впевненості окремо за кожною категорією.
Оцінка процесуальних ризиків передбачає не підсумок, а рух справи: відкладення, зупинення, призначення експертизи, залишення без розгляду, вихід в апеляцію та строк до набрання рішенням чинності. Цільова ознака тут — подія і час, а не результат спору.
Звідси різні вимоги до розмітки. Для суті потрібен корпус рішень із чистою резолютивною частиною та розміткою категорій спорів — інакше модель змішає договірні спори з корпоративними й втратить точність на рідкісних класах. Для ризиків достатньо журналу руху справи: дати, ухвали, інстанції.
Змішувати обидві ознаки в одну не можна: модель почне видавати усереднену відповідь, яка не годиться ні для стратегії, ні для планування. Робоча схема — два шари на спільних ознаках із тексту та історії справи, де оцінка ризиків уточнює прогноз за суттю, а не підміняє його.
Якість, пояснюваність і межі застосовності моделі
Модель оцінює результат справи як імовірність за класами, а не як вирок. Приймання такої системи зводиться до одного питання: де закінчується статистика і починається правова оцінка, за яку відповідає юрист. Нижче — відповіді на сумніви, які найчастіше виникають під час передачі системи в роботу.
Наскільки стійкий прогноз?
Той самий позов із перефразуваннями та зміною персональних даних має давати близьку ймовірність. Якщо розкид між прогонами зростає, модель іде на донавчання, а не в експлуатацію.
Як зрозуміти, чому модель вирішила саме так?
До прогнозу додаємо фактори, що вплинули на висновок: фрагменти позову, норми, обставини, строки. Юрист бачить опору для позиції й може оспорити розрахунок, а не довіряти незрозумілому числу.
Що робити з регіональними відмінностями практики?
Та сама норма в різних судах спрацьовує по-різному, тому в розрахунку враховуються регіон, інстанція та тип спору. Де даних за регіоном мало, прогноз позначається як менш надійний замість усереднення по країні.
Як у вибірці враховуються мирові угоди?
Справи, закриті мировою, спотворюють статистику за суттю спору. Розмічаємо їх окремим класом, щоб вони не зміщували прогноз за справами, які дійдуть до рішення.
Хто відповідає за висновки системи?
Прогноз залишається матеріалом для підготовки позиції, рішення ухвалює юрист. Система зберігає підстави й версію розрахунку, тому висновок відтворюється і може бути оспорений усередині компанії.
Обговоримо задачу: які дані та висновки вам потрібні
Обговорення задачі починається не з демонстрації моделі, а з вашої предметної області: яка категорія спорів, хто користується висновком і яке рішення за ним ухвалюється.
Нам потрібен реальний масив справ — за ним видно, чи достатньо в ньому ознак для стійкого прогнозування результату судових справ. Щоб повернутися з оцінкою та планом робіт, а не загальними словами, від вас потрібно:
- 300-500 закритих справ однієї категорії спорів із повними текстами актів;
- перелік ознак, які ви вважаєте значущими, і тих, які використовувати не можна;
- опис цільового висновку: ймовірність, діапазон або рекомендація юристу;
- вимоги до контуру: де зберігаються документи і хто отримує доступ;
- приклади справ, де інтуїція юриста розходиться з очікуваним підсумком;
- відповідальний з вашого боку, який прийме роботу за критеріями приймання.
У відповідь ми надсилаємо план робіт за етапами з орієнтовними строками та критерії приймання, зафіксовані до старту. Перший етап — пілот на одній категорії спорів: розмітка корпусу, складання базової моделі, звірка її висновків із рішеннями ваших юристів і звіт про точність.
Таке звуження дає чесну картину: якщо на пілоті якість не підтверджується, ви бачите це до масштабування на суміжні галузі права. Опишіть задачу — повернемося з оцінкою та планом робіт.
