Оцифрування архівів з AI: де ручний розбір втрачає точність
Вузьке місце оцифрування — не сканер і не швидкість протягування, а розбір сенсу.
Потокове розпізнавання сканів упевнено бере друкований текст одного шрифту на чистому аркуші, але архів так не виглядає майже ніколи: блідий друк, нахил, зшиви в корінці, плями від води, копії з копій. Сканер видає рівний потік сторінок і при цьому нічого не каже про те, що в них написано.
Різнорідні бланки добивають шаблонний підхід. Форми змінювалися десятиліттями, поля зміщені, реквізити стоять у різних кутах, у кожного фонду своя структура.
Шаблон, налаштований під один бланк, на сусідній справі дає переплутані дати й номери, а рукописні позначки, резолюції та підписи на полях не бере взагалі.
Ручне введення документів тут точне, але тримає 2-3 тисячі аркушів на оператора на місяць і просідає до кінця зміни — помилки зростають саме там, де падає увага.
Окрема проблема — нумерація справ. Аркуші переплутані під час підшивання, трапляються дублікати та вкладені описи. Текст начебто розпізнано, а зв'язок «документ — справа — фонд» втрачено, вивантаження в облікову систему йде з ручним звірянням, і пошук в архіві не працює.
ШІ-моделі розв'язують задачу не шаблоном, а за смислом: знаходять реквізити в довільній верстці, розмічають рукописні поля, відновлюють порядок аркушів за змістом і пов'язують їх з описом.
Оцифрування архівів з AI будується як конвеєр із перевірюваними етапами — розбираємо нижче, як це влаштовано.
Вимірюваний ефект: швидкість обробки фонду та частка помилок
Точність розпізнавання на друкованих машинописних і типографських документах упирається не в сам рушій, а в підготовку зображення. Перекіс аркуша, тіні по краю скану, сліди від степлера та текст, що просвічує зі звороту, дають помилки на рівному місці.
Тому до розпізнавання йде вирівнювання, бінаризація та сегментація за блоками, а після — звіряння за словником предметної області та контрольними сумами полів. На типовому фонді це дає частку помилок у межах 1–2% на символ і помітно менше — на реквізитах, де працюють шаблони.
Швидкість обробки фонду визначається не швидкістю однієї сторінки, а маршрутизацією та паралелізмом. Потік сторінок розкладається за чергами: прості аркуші йдуть швидким маршрутом, сторінки з таблицями, рукописом і печатками — на розширений розбір з додатковими моделями.
Приріст дає саме розділення потоків: основна маса фонду проходить першим шляхом, а ресурсомісткі перевірки задіюються на одиницях відсотків аркушів.
Ручне звіряння стискається з повного перезвіряння до вибіркового контролю. Оператору показують не весь масив, а сторінки з упевненістю нижче порога та поля, що не зійшлися з контрольними правилами, — зазвичай це 5–10% аркушів. Решта закривається автоматично, а розбіжності збираються у звіт для розбору.
Окремий ефект — зникнення цілого класу відмов. Раніше губилися здвоєні аркуші, «з'їжджали» колонки в таблицях, дата підставлялася з сусіднього документа. Тепер цілісність перевіряється за послідовністю сторінок і зв'язками «номер — дата — організація».
Розбір іде на Tesseract в актуальній гілці з донавчанням на вашому матеріалі — контроль якості оцифрування спирається на фактичну вибірку, а не на обіцянки.
Режими обробки архіву: пакетний, потоковий, гібридний
Режим обробки вибирають не за обсягом фонду, а за тим, як документи потрапляють у систему і де потрібен контроль якості. Пакетна, потокова та гібридна схеми відрізняються точкою приймання результату й місцем, де накопичується ручна робота оператора.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Пакетна обробка | Фонд відсортовано, скани підготовлено заздалегідь, важлива відтворюваність проходу | Розпізнавання починається лише після приймання всього масиву; один збійний файл затримує партію цілком |
| Потокове оцифрування | Документи надходять безперервно й з кількох джерел | Немає вхідного фільтра: брак потрапляє в обробку одразу, помилку видно вже на виході |
| Гібридна схема | Масив неоднорідний — типові справи йдуть потоком, складні потрапляють у відкладену партію | Потрібні правила маршрутизації та окремий облік за кожним потоком |
Вимоги до сканів
У всіх трьох схемах спільний знаменник — передбачуваний вхідний скан. Перевіряємо рівномірність світла й відсутність плям, цілісність полів без обрізання, перекіс сторінки, єдиний колірний режим і однакову роздільну здатність у межах однієї справи.
Якщо фонд оцифровували різні підрядники на різному обладнанні, спочатку нормалізуємо масив: без цього точність розпізнавання й повнота пошуку за реквізитами відрізнятимуться від справи до справи, і різниця виявиться не у звіті, а у вибірці користувача.
Режим фіксуємо до старту робіт — від нього залежить і склад проміжних перевірок, і те, як ви будете приймати результат частинами.
Етапи впровадження: від одного фонду до серійної обробки
Серійне оцифрування рідко ламається на розпізнаванні — частіше на відсутності еталона: без зафіксованої вибірки не можна ні налаштувати модель, ні довести, що якість зросла. Тому йдемо хвилями: спочатку один фонд, потім масштабування на решту. Порядок етапів не залежить від обсягу архіву.
- Аудит архіву — інвентаризація фонду: типи документів, формати, стан носіїв, частка рукопису, таблиць і пошкоджених сторінок. На виході — карта однорідних груп, для кожної свій маршрут обробки.
- Розмітка еталонної вибірки — кілька сотень сторінок на групу вручну: межі зон, поля карток, рукописні блоки. Вибірка фіксується до кінця проєкту, інакше метрики перестають бути порівнюваними.
- Налаштування розпізнавання — під кожну групу свої словники термінів, шаблони полів, правила нормалізації дат і номерів, постфільтри типових помилок. Для рукопису модель донавчається, для друку налаштовується сегментація таблиць і колонок.
- Перевірка на контрольній партії — прогін на сторінках, яких модель не бачила: посимвольна й послівна точність за групами, розбір помилок за причинами. Поріг приймання якості фіксуємо заздалегідь.
- Тираж фонду — пакетна обробка з журналом по кожній сторінці та повторами на збоях. Оператор розбирає лише сторінки нижче порога впевненості.
- Передача регламентів — маршрути, словники, правила розмітки нових груп і порядок продовження, щоб наступні фонди команда замовника додавала сама.
Що передаємо на руки: конфігурації, схеми, регламенти
Передаємо рішення в стані, коли його можна експлуатувати й розвивати власними силами. Усі артефакти складаються в репозиторій замовника та версіонуються: кожна правка залишає слід, а до попередньої версії налаштувань можна повернутися. Нижче — повний перелік того, що переходить на руки.
- Конфігурації розпізнавання — окремий профіль під кожен тип документа (машинописний, рукописний, табличні форми), пороги впевненості та словники підстановок. Новий тип масиву описується правкою налаштувань, а не доопрацюванням коду.
- Схеми потоків даних — від завантаження сканів до вивантаження результатів в облікову систему, з точками контролю та явно позначеними місцями, де в процес втручається оператор.
- Політики доступу — ролі оператора, контролера й адміністратора, обсяг видимих даних для кожної, права на правку та журнал дій, який не можна змінити заднім числом.
- Регламент оператора — покрокові інструкції на типові ситуації: нечитабельний скан, дубль, розбіжність з реєстром, ескалація спірного документа.
- Звіти про якість — метрики за кожним масивом: частка розпізнаного без правки, точність за ключовими полями, розподіл помилок за типами документів.
- Документація з оцифрування — опис довідників і словників, порядок додавання нового типу документа й оновлення моделей.
- Інструкції з розгортання, резервного копіювання та відновлення — щоб переїзд або зміна підрядника не перетворювалися на археологію.
Передача закривається приймальним прогоном на контрольній вибірці: замовник сам проганяє документи й звіряє метрики зі звітом.
Кейс: як прибрали ручне звіряння на масиві сканів
Що було до
Фонд Обласний архів оцифровував описи та особові справи — кілька сотень тисяч аркушів: машинопис, рукописні картки, бланки з друкованою основою. Оператори звіряли кожен розпізнаний фрагмент із зображенням очима, і на рукописі частка помилок сягала третини символів.
Пропускна здатність упиралася в людей, а не в сканери, а спірні записи потрапляли в окрему папку на повторний розбір — вона зростала швидше за основний масив.
Схема обробки та метрики після
Спочатку зафіксували еталонну вибірку та розмітку: тип поля, атрибут документа, джерело. Потім зібрали конвеєр — підготовка зображення, визначення типу бланка, витягування полів, перевірка за правилами та словниками.
Модель донавчили на рукописних картках, а невпевнені відповіді не відкидали: їх направляли оператору з підсвічуванням місця сумніву.
У тиражі точність на друкованих документах вийшла на 99%, на рукописі — 94–96% проти колишніх 60–70%. Частка полів, прийнятих без правки, зросла до 87%, тому ручне звіряння скоротилося приблизно у вісім разів.
Час обробки аркуша впав з десятків секунд до півтори секунди, черга на повторний розбір перестала зростати.
Перевірюваність тримаємо в журналі: у кожного запису збережено джерело, версію моделі та рішення перевіряльника — при спірній знахідці видно, звідки взялося значення.
Чим відрізняється розбір друкованих бланків від рукописних?
Друкований текст передбачуваний: фіксований алфавіт, рівний рядок, повторювана геометрія бланка від скану до скану.
Тому тут працює контур «знайти рамки полів за шаблоном — розпізнати вміст — перевірити формат», а помилки відловлюються регулярними правилами: структура номера, звіряння з довідником, контрольна сума. Такий шлях дає високу точність на всьому потоці й майже не потребує ручної перевірки.
Рукописні бланки ламають кожне з цих припущень. Почерк змінюється від людини до людини і в межах однієї сторінки: нахил, злиті накреслення, виправлення, цифри поверх ліній, записи поза розміченими полями.
Детекція рядків і розділення знаків перестають бути підготовчим кроком і самі стають задачею розпізнавання — на відкритих корпусах на кшталт ICDAR видно, наскільки результат залежить від конкретного потоку документів.
Звідси різні вимоги до розмітки даних, а вибір моделі визначається часткою рукописних полів. Для друкованих форм достатньо синтетичних прикладів: розмітка ставиться автоматично за шаблоном.
Для рукописних потрібен корпус реальних сканів замовника, ручна вивірка спірних фрагментів і модель, донавчена на цьому корпусі.
Пороги приймання теж різняться: друковане поле приймається автоматично за майже повного збігу, рукописне — лише з відправленням сумнівних значень на вичитку.
Тому проєкт майже завжди двоконтурний: шаблонні поля йдуть швидким шляхом, рукописні — за моделлю з контролем впевненості. Таке розділення знижує частку ручної роботи й робить якість передбачуваною на всьому обсязі архіву.
Рукопис, якість сканів, розмітка: технічні сумніви
Інженерні сумніви на проєктах оцифрування з'являються раніше за питання до моделей: архів збирався десятиліттями, і всередині одного фонду лежать машинописні описи, рукописні журнали та аркуші на кальці. Нижче — чотири питання, які ми розбираємо на старті, до оцінки обсягу та плану робіт.
Скани погані: сірі аркуші, плями, обрізані поля. Що робити з такими сторінками?
Працює вхідний контроль якості: аркуші нижче порога за контрастом і геометрією не потрапляють у загальний потік розпізнавання, а йдуть в окрему чергу. Для них застосовуємо вирівнювання, знебарвлення фону та корекцію меж, безнадійні позначаємо на повторне сканування.
Частку таких сторінок рахуємо на пілотній партії — вона одразу показує реальний обсяг ручної перевірки.
Форми нестандартні, є таблиці та рукописні поля. Як будується розмітка вибірки?
Розмічаємо не потік, а стратифіковану вибірку за типами документів, щоб кожен тип отримав свою оцінку точності. Оператор розбирає спірні поля, його правки повертаються в навчальний контур, і якість зростає саме там, де були провали. Метрики за типами фіксуємо у звіті приймання, а не усереднюємо в одну цифру.
У документах є персональні дані. Чи можна не виносити їх за межі контуру?
Обробка йде у вашому захищеному контурі, з розмежуванням ролей і журналом доступу до кожного документа. На розмітку йде знеособлена вибірка, тому за периметр персональні дані не потрапляють узагалі.
Після здачі проєкту робочі копії видаляємо за регламентом — залишається результат в обліковій системі.
Як результат потрапляє в облікову систему?
Вивантажуємо дані в узгодженому форматі й завантажуємо через штатний інтерфейс обміну або проміжну таблицю. У записів є стійкий ключ, тому повторне завантаження оновлює картку, а не створює дублі.
Приймання — звіряння кількості документів і вибіркова перевірка реквізитів проти паперового оригіналу.
Обговоримо задачу: підберемо режим під ваш фонд документів
Щоб повернутися з оцінкою обсягу, схемою обробки та планом робіт, нам не потрібен весь архів одразу — достатньо кількох вступних даних. Вони дають змогу порахувати трудозатрати за типами документів і назвати реальні строки обробки, а не середні по ринку.
Що потрібно від вас:
- Склад фонду: які типи документів трапляються — машинописні аркуші, рукописні картки, анкети, табличні форми — і приблизна частка кожного типу.
- Фізичний стан: зшиті томи, старезні аркуші, двосторонній друк, вклейки, фотографії, нестандартні формати.
- Обсяг: кількість одиниць зберігання або погонних метрів полиць плюс середня щільність аркушів у справі.
- Вимоги до результату: які поля потрібні в описі, чи потрібен повнотекстовий пошук, чи потрібне вивантаження у вашу облікову систему.
- Якість: допустима частка помилок розпізнавання та ділянки, де обов'язкова ручна вичитка.
- Доступ і зберігання: хто працює з матеріалами, де розміщуються електронні копії, чи є у фонді персональні дані.
- Пілотний фонд: одна коробка або папка на кілька сотень аркушів — на ньому калібруємо модель і уточнюємо строки.
- Порядок погоджень: хто приймає результат і в якому вигляді — пофайлово, партіями або після завершення всього фонду.
Опишіть задачу у вільній формі — повернемося з оцінкою обсягу, схемою обробки та планом робіт. Пілотний фонд покаже фактичну швидкість на вашому матеріалі та зніме ризик, що строки виявляться розраховані за чужим архівом.
