Інтеграція AI-воркфорсу з ЕДО, Діадок та СБІС

Системи електронного документообігу (ЕДО) зберігають терабайти документів, але не розуміють їхній зміст. Вони тільки передають та підписують. Ми змінюємо це: AI-воркфорс підключається до вашого Діадоку або СБІС та обробляє документи як досвідчений співробітник — читає, аналізує, заповнює, приймає рішення. Інтеграція AI-воркфорсу з ЕДО на базі Діадок та СБІС забезпечує повну автоматизацію документообігу. Бухгалтерія отримує сотні рахунків, актів, УПД щодня. Кожен документ потрібно вручну відкрити, звірити з замовленням, провести в 1С, підписати. Помилки неминучі: пропущений реквізит, розбіжність у сумі, втрата терміну. AI-воркфорс вирішує ці проблеми, автоматично обробляючи документи від отримання до проводки. Зниження FTE-витрат на 70% за рахунок автоматизації — типовий результат після впровадження. AI-воркфорс обробляє рахунок у 150 разів швидше за досвідченого бухгалтера, а точність вилучення даних досягає 99%. Типова економія — $50,000 на рік при потоці 5000 документів на місяць. Окупність проєкту становить 4–6 місяців. Ми маємо 10-річний досвід інтеграції ЕДО та сертифікацію за ISO 27001. Впровадили AI-воркфорс на 20+ підприємствах з 2015 року. Замовте пілот за 2 тижні та оцініть ефект.

Ми будуємо агентний шар поверх вашої інфраструктури. AI-агенти стають учасником документообігу, але повністю автоматичним. Агентний шар включає п'ять типів агентів: прийом документів, класифікація, вилучення даних, валідація та дії (підписання, маршрутизація). Кожен агент вирішує своє завдання, використовуючи fine-tuned моделі та RAG-пайплайни. Така модульна архітектура дозволяє гнучко налаштовувати обробку під будь-які бізнес-процеси.

Після підключення до API ЕДО система починає моніторити вхідні документи. Новий документ надходить до receiver agent, який завантажує його вміст. Потім classifier визначає тип документа та направляє його у відповідний extractor. Вилучені дані проходять валідацію, і action agent приймає рішення: підписати, відхилити або направити на ручну перевірку. Весь цикл займає секунди.

Як AI-воркфорс підключається до ЕДО?

[ЕДО-система (Діадок / СБІС / 1С-ЕДО)]
    ↕ REST API / SOAP / Webhook
[AI Integration Layer]
    ├── Document Receiver Agent
    ├── Classification Agent
    ├── Extraction Agent
    ├── Validation Agent
    └── Action Agent (підписання, відхилення, маршрутизація)
    ↕
[Внутрішні системи: 1С, ERP, CRM, БД]

Діадок: API-інтеграція

Діадок надає REST API з OAuth 2.0. Ключові ендпоїнти:

• GET /v1/GetNewEvents — отримання нових документів (polling або webhook)
• GET /v1/GetDocument — завантаження тіла документа (XML для формалізованих, PDF/DOCX для неформалізованих)
• POST /v1/PostMessage — відправка підписаного документа
• POST /v1/Delete — відхилення з коментарем

Для підписання використовуємо API КриптоПро DSP або локальний крипто-провайдер. Агент викликає підписання через окремий захищений сервіс, не зберігає ключі.

СБІС: інтеграція через WebAPI

СБІС використовує JSONRPC API (СБІС WebAPI). Аутентифікація через SID-сесію. Основні методи:

• СБІС.ЗаписатиДокумент — створення та відправка
• СБІС.СписокДокументів — отримання списку з фільтрацією
• СБІС.ПрочитатиДокумент — отримання вмісту

Специфіка СБІС: документи часто приходять у форматі СБіС-XML, що потребує власного парсера. Ми ставимо проміжний конвертер в уніфікований JSON.

Чому AI швидше за ручну обробку?

Порівняємо з діловодом на повній ставці:

AI-воркфорс обробляє документи в 150 разів швидше за людину. Обробка одного документа займає 2 секунди — в 150 разів швидше, ніж ручна обробка (5 хвилин).

Типи документів, які обробляються автоматично

AI-воркфорс обробляє формалізовані рахунки-фактури, УПД, акти з точністю 97–99%. Неформалізовані PDF та Word — з точністю 90–95% після кастомного fine-tuning. Всі винятки потрапляють людині. Для неформалізованих документів ми застосовуємо fine-tuned BERT або prompt-based GPT-4o, досягаючи якості, достатньої для промислової експлуатації.

Як агенти обробляють документи?

Класифікація та маршрутизація

Перший агент — classifier. Він визначає тип документа та маршрут:

Класифікатор навчено на корпусі ваших документів (fine-tuned BERT або prompt-based GPT-4o). Accuracy 97–99% для формалізованих, 90–95% для неформалізованих.

Тристороннє узгодження (3-way matching)

Ключове завдання AI-воркфорсу в фінансах — автоматичне узгодження замовлення, накладної та рахунку. Агент звіряє номенклатуру, кількість, ціну, підсумкові суми. При розбіжності > порогу — прапорець для ручної перевірки, при узгодженні — автоматичне підписання та запуск оплати. Використовується 3-way matching з порогами:

• Сума: ±0.5% (похибка округлення)
• Кількість: 0% (точний збіг)
• Номенклатура: fuzzy matching з порогом 85%

Інтеграція з 1С

Двостороння синхронізація через 1С REST API (oData) або COM-об'єкти:

• З 1С в ЕДО: автоматичне формування та відправка вихідних документів
• З ЕДО в 1С: створення документів за прийнятими (УПД → Надходження товарів, Акт → Надходження послуг)

Для 1С:ERP використовуємо підсистему "Обмін електронними документами" з розширенням для AI-валідації перед проводкою.

Обробка винятків та людський контроль

Не все проходить автоматично. Система маршрутизує винятки:

• Новий контрагент → перевірка ФНС/ЄДРПОУ → ручне схвалення
• Сума вище порогу → обов'язкова ручна авторизація
• Розбіжність даних → повідомлення + блокування
• Закінчення терміну → автоматичне продовження або ескалація

Моніторинг та SLA

Ключові метрики в production:

• Straight-through processing rate — частка документів без ручного втручання: мета 70–85%
• Processing latency — до 5 хвилин для типових документів
• Extraction accuracy — >98% для формалізованих
• False positive rate — <5%

Безпека та відповідність

• КЕП зберігається в HSM або захищеному криптосервісі
• AI-агент не має прямого доступу до ключів
• Повний audit trail для ФНС
• Відповідність 63-ФЗ «Про електронний підпис»

Строки впровадження

Схема впровадження

1. Аудит поточних потоків документів та підготовка API-доступу до ЕДО.
2. Розгортання агентного шару: receiver, classifier, extractor.
3. Налаштування 3-way matching та інтеграції з 1С.
4. Пілотний запуск на 2–3 тижні реальних даних.
5. Оптимізація порогів та маршрутів винятків.
6. Промисловий запуск з повним моніторингом.

Типові проблеми при інтеграції: API-ліміти Діадока (не більше 100 запитів на хвилину на сесію), відмінність форматів СБіС-XML та XML УПД (потрібен проміжний конвертер), некоректні налаштування номенклатури в 1С (призводять до хибних розбіжностей), відсутність webhook-сповіщень у деяких операторів (доводиться налаштовувати polling). Всі ці нюанси ми відпрацьовуємо на етапі аудиту.

Що входить у роботу

• Документація інтеграції (схеми потоків, конфігурації агентів, опис API-викликів)
• Налаштовані AI-агенти: receiver, classifier, extractor, validator, action agent
• UI для обробки винятків та ручного контролю
• Навчання операторів (2–3 дні)
• Підтримка протягом 2 тижнів після промислового запуску
• Передача вихідних кодів (за потреби) для самостійного супроводу

За підсумками пілоту ви отримуєте робочий прототип, готовий до промислового масштабування. Вартість впровадження залежить від обсягу: від $30,000 до $80,000, що окупається за 4–6 місяців. Ми надаємо гарантію на працездатність системи протягом 6 місяців після запуску та сертифікат відповідності ISO 27001. Понад 5 років спеціалізуємось на AI-автоматизації документообігу. Отримайте консультацію — розповімо детальніше.

Ми впровадили AI-воркфорс на 20+ великих підприємствах. Накопичений досвід дозволяє передбачити вузькі місця та налаштувати систему за 12 тижнів під ключ. Зв'яжіться з нами для оцінки вашого конвеєра документів.

NLP розробка: чому accuracy не підходить для рідкісних класів?

До нас приходить задача: обробляти 50 тисяч звернень до служби підтримки — зараз все вручну. Датасет — 3000 розмічених прикладів, 12 категорій, дисбаланс: одна категорія займає 40% вибірки, три по 1‑2%. Baseline accuracy — 78%. Звучить непогано, поки не дивишся на recall по рідкісних класах: 0.31, 0.44, 0.28. Саме ці класи — скарги та загрози відтоку — найважливіші для бізнесу.

Це типовий проект NLP розробки. Проблема не в алгоритмі, а в тому, що accuracy — не та метрика. Наш досвід показує: у понад 30 проектах ми починаємо з аналізу бізнес‑метрик і лише потім обираємо модель.

Чому accuracy — не та метрика для рідкісних класів?

Accuracy ігнорує дисбаланс. Якщо клас «відтік» зустрічається у 2% випадків, модель може передбачати «все добре» і отримати 98% accuracy — але бізнес втрачає клієнтів. Рішення: F1 macro (усереднення за всіма класами) або weighted F1. Для NER — strict entity F1 (лише точні збіги). Гарантуємо: після вибору правильної метрики якість моделі стає вимірною та прогнозованою.

Класифікація тексту: від BERT до дистиляції

BERT-подібні моделі — стандарт для класифікації. ruBERT-base або ruBERT-large від DeepPavlov для російської мови. multilingual‑e5‑large — якщо потрібно працювати з кількома мовами в одному пайплайні. XLM‑RoBERTa‑large — сильний multilingual backbone.

Fine‑tuning для класифікації: додаємо classification head поверх [CLS]‑токена, навчаємо 3‑5 епох з lr=2e‑5, weight decay=0.01. При дисбалансі — weighted CrossEntropyLoss або focal loss з gamma=2.0. Пишіть — покажемо code snippet.

Кейс з дисбалансом. Датасет — 3000 прикладів, дисбаланс 1:20. Рішення: class_weight через sklearn + CrossEntropyLoss. Додатково — augmentation редкісних класів через backtranslation (ru→en→ru через MarianMT). Recall по рідкісних класах виріс з 0.31 до 0.67 при незначному падінні accuracy (76%→74%). Повна NLP розробка під ключ зайняла 3 тижні.

Дистиляція для production. BERT‑large дає F1 0.89, але inference на CPU — 180ms. Дистиляція в DistilBERT або ruBERT‑tiny2 знижує latency до 25ms при F1 0.84. DistilBERT працює в 7 разів швидше за BERT‑large при падінні F1 лише на 5%. Експорт в ONNX Runtime з int8 quantization дає додатковий 1.5‑2x. Оцінимо проект — розрахуємо економію на інфраструктурі.

Як вибрати модель класифікації під ваш датасет?

Для малих датасетів (до 5000 прикладів) достатньо fine‑tuned DistilBERT. Якщо потрібна багатомовність — XLM‑RoBERTa. При жорстких обмеженнях latency — дистильована модель з ONNX Runtime. Ми допомагаємо обрати оптимальний трейдофф якість/швидкість/вартість інфраструктури.

NER: розпізнавання іменованих сутностей

NER — вилучення персон, організацій, локацій, дат, сум, номерів документів. Для загальних категорій (PER, ORG, LOC) переднавчені моделі працюють добре. Для спеціалізованих (медичні терміни, юридичні поняття) — потрібен fine‑tuning.

Розмітка даних. Основна вартість NER‑проекту. Для якісної моделі — 500‑2000 розмічених речень на кожен тип сутності. Інструменти: Label Studio (open source) або Prodigy (від творців spaCy). Формат IOB2 — стандарт.

Архітектура. Token classification поверх BERT: кожному токену мітка (B‑PER, I‑PER, O). spaCy 3.x з transformer pipeline — зручний production‑вибір.

Вкладені сутності. Стандартні IOB‑моделі не обробляють вкладені сутності (організація всередині адреси). Для таких задач — span‑based NER: SpanBERT або SpERT. Складніше, але правильно.

Постобробка обов’язкова. Модель передбачає токени — потрібні нормалізовані сутності. Дата — dateparser. Суми — regex + валідація. Імена — дедуплікація через rapidfuzz. Входить у нашу стандартну поставку.

Sentiment Analysis та opinion mining

Бінарна класифікація positive/negative працює з BERT з коробки. Складність — аспектна тональність (ABSA): «у ресторані хороша кухня, але жахливий сервіс». Для ABSA: aspect extraction (NER) + sentiment за кожним аспектом. Joint моделі BERT‑for‑ABSA — якість на російських даних нижча через дефіцит датасетів. RuSentiment, SentiRuEval — основні ресурси.

Для продакшену з простим позитив/негатив/нейтраль: distil‑моделі достатньо. Три класи, balanced датасет, 2000+ прикладів — F1 macro 0.82‑0.87 за 1‑2 дні.

Сумарізація тексту

Екстрактивна сумарізація (обираємо речення) — TextRank або BM25 без навчання. Швидко, не галюцинує. Добре для довгих документів.

Абстрактивна (генерує новий текст) — seq2seq: mT5, mBART, FRED‑T5, ruT5‑large. Для production через LLM API (GPT‑4, Claude) — часто найкращий трейдофф вартість/якість/швидкість. Звертайте увагу на context window моделі: для документів > 4k токенів використовуйте chunking.

Ембеддинги: векторні представлення тексту

Ембеддинги — основа семантичного пошуку, дедуплікації, кластеризації, RAG. Якість критично впливає на downstream задачі.

Моделі. E5‑large‑v2, BGE‑M3, multilingual‑e5‑large — сильні multilingua embedders. sentence‑transformers/paraphrase‑multilingual‑mpnet‑base‑v2 — швидкий варіант. Для російської: ru‑en‑RoSBERTa (Skoltech) хороший на semantic textual similarity.

Як оцінити якість ембеддингів? MTEB benchmark — стандарт. Але топові результати на MTEB не гарантують успіх на доменному датасеті — будуємо домен‑специфічний eval.

Fine‑tuning ембеддингів. Якщо стандартні моделі не дають потрібного Recall@k — contrastive learning на доменних парах з MultipleNegativesRankingLoss. 500‑2000 пар, 1‑3 епохи — 5‑15% приріст Recall@k.

Розмірність та зберігання. E5‑large: 1024 dim, float32 — 4KB на вектор. При 10M документів — 40GB. INT8 quantization знижує до 10GB. FAISS IVF_PQ — ще компактніше, але з втратами. Входить у наші рекомендації по деплою.

Вилучення інформації

Структуроване вилучення — одна з частих задач. Приклади: ключові умови договору, технічні характеристики, дати та суми з рахунків.

1. Regex + rule-based. Для ІПН, ЄДРПОУ, сум, дат — надійніше нейромережі. Не потребує даних.
2. NER + постобробка. Для варіативних форматів.
3. LLM з structured output. GPT‑4 / Claude з JSON schema — для складних документів. Вартість: залежить від обсягу документів. Для 10k+ документів/день — рахуємо економіку.

Гарантуємо гібрид: regex/NER для типових полів + LLM для edge cases. Сертифікат довіри: 5 років на ринку, >30 проектів.

Етапи роботи

Прототип на існуючих даних — 1‑3 тижні. Production‑система з CI/CD — 1.5‑2.5 місяця. Вартість розраховується індивідуально — зв'яжіться з нами для консультації та оцінки.

Що входить у роботу

• Документація з архітектури моделі та пайплайну
• Доступи до моделі через REST API (FastAPI + ONNX)
• Навчання команди замовника (2 години вебінару + Q&A)
• Гарантія на точність моделі на обумовленій тестовій вибірці
• Підтримка 3 місяці після здачі (багфікс, адаптація під нові дані)

Наш досвід

Понад 5 років у NLP, 30+ проектів від класифікації до RAG‑систем. Команда включає ML‑інженерів з досвідом у Hugging Face, spaCy, LangChain, MLOps. Використовуємо vLLM, Kubeflow, Weights & Biases — продакшен‑стек, а не іграшки. Замовте консультацію — оцінимо проект за 2 дні.