Сотни накладных, инвойсов и договоров ежедневно приходят в виде сканов. Ручной ввод — узкое горло, ошибки неизбежны. Потери времени и бюджета растут. Мы решаем это с помощью Document AI — автоматического извлечения структурированных данных. Наш подход даёт F1 до 96% на сложных полях и сокращает время обработки в 10–20 раз. В отличие от классического OCR, который выдаёт плоский текст, Document AI понимает семантику и визуальное расположение элементов. Модель знает, что 12 345.00 справа от Total — итоговая сумма, а не случайное число. Это ключевой элемент автоматизации документооборота, где машинное обучение позволяет избавиться от рутины.
Качество извлечения напрямую зависит от разметки и архитектуры модели. Мы используем LayoutLMv3 — State-of-the-Art для документов с произвольным шаблоном. Ниже разберём ключевые проблемы и их решение.
Как Document AI извлекает структурированные данные?
Стек: PyTorch, Hugging Face Transformers, LayoutLMv3, Tesseract для OCR. Для каждого типа документов обучаем отдельную модель с BIO-разметкой сущностей (NER).
from transformers import LayoutLMv3Processor, LayoutLMv3ForTokenClassification from PIL import Image import torch class DocumentFieldExtractor: def __init__(self, model_path: str, labels: list[str]): self.processor = LayoutLMv3Processor.from_pretrained(model_path) self.model = LayoutLMv3ForTokenClassification.from_pretrained( model_path, num_labels=len(labels) * 2 + 1 # BIO tagging ) self.labels = labels self.model.eval() @torch.no_grad() def extract(self, image_path: str) -> dict: image = Image.open(image_path).convert('RGB') encoding = self.processor( image, return_tensors='pt', truncation=True, padding='max_length', max_length=512 ) outputs = self.model(**encoding) predictions = outputs.logits.argmax(-1).squeeze().tolist() return self._decode_entities(encoding, predictions) Разметка данных ведётся в Label Studio с поддержкой Document AI — разметчик выделяет области на скане и назначает тип поля. Минимум 200–500 размеченных документов для базового качества.
Fine-tuning выполняется стандартным Trainer из Hugging Face:
from transformers import TrainingArguments, Trainer from datasets import load_dataset training_args = TrainingArguments( output_dir='./invoice_extractor', num_train_epochs=20, per_device_train_batch_size=2, per_device_eval_batch_size=2, learning_rate=5e-5, warmup_steps=100, weight_decay=0.01, fp16=True, evaluation_strategy='epoch', save_strategy='best', metric_for_best_model='f1' ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset, compute_metrics=compute_ner_metrics ) trainer.train() Какие проблемы решает Document AI?
- Нестандартные шаблоны — разные поставщики оформляют инвойсы по-своему. LayoutLMv3 устойчив к вариациям, если обучать на репрезентативной выборке.
- Низкое качество сканов — перекосы, шум, плохое освещение. Предобработка (deskew, denoise) + данные с аугментациями повышают робастность.
- Смешанные типы документов — в одном потоке могут быть и накладные, и договоры. Мы обучаем мультитиповые модели или классификатор перед экстракцией.
- Валидация извлечённых данных — контрольные суммы, форматы дат, справочники. Постобработка с бизнес-правилами отсеивает ошибки.
| Проблема | Решение |
|---|---|
| Нестандартные шаблоны | LayoutLMv3 адаптируется при достаточном количестве примеров; обучаем на репрезентативной выборке |
| Низкое качество сканов | Предобработка (deskew, denoise) + аугментации данных |
| Смешанные типы документов | Используем классификатор перед экстракцией или мультитиповую модель |
| Валидация извлечённых данных | Постобработка с бизнес-правилами: контрольные суммы, форматы дат, справочники |
Почему LayoutLMv3 лучше классического OCR?
Классический OCR (Tesseract, Abbyy) выдаёт только текст и координаты. Document AI на основе LayoutLMv3 дополнительно понимает семантику: модель знает, что строка "ИНН 7701234567" — это ИНН, а не номер счёта. Как показано в работе LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking, на датасете CORD LayoutLMv3 достигает F1 95.5%, тогда как OCR+регулярки — около 70–80%. LayoutLMv3 работает в 5–10 раз точнее при извлечении сложных полей, особенно дат и сумм. Внедрение такой системы окупается в среднем за 3–6 месяцев за счёт сокращения ручного труда, а ежемесячная экономия на операционных расходах достигает от $300–1k. Кроме того, снижение ошибок обработки экономит до $180–260. в месяц.
| Датасет | Поле | F1 (LayoutLMv3) |
|---|---|---|
| FUNSD (формы) | Entity extraction | 92.0% |
| CORD (чеки) | Поля транзакций | 95.5% |
| SROIE (инвойсы) | 4 ключевых поля | 96.6% |
| DocVQA (QA на документах) | ANLS | 83.5% |
Типичные ошибки при внедрении экстрактора инвойсов
- Слишком мало размеченных данных — менее 200 сканов на тип, что приводит к переобучению.
- Однотипные шаблоны в выборке — модель не видит вариаций и ошибается на новых форматах.
- Игнорирование аугментаций — без поворотов и шума модель падает на реальных сканах.
- Отсутствие постобработки — даты в разных форматах, суммы без разделителей — модель выдает сырые токены, а не нормализованные значения.
Что входит в работу?
- Индивидуальная модель — дообученный LayoutLMv3 под ваш тип документов.
- API-контейнер — Docker-образ с REST API и примерами запросов.
- Документация — описание работы модели, инструкции по интеграции.
- Обучение сотрудников — вебинар по разметке данных и использованию экстрактора.
- Поддержка — 3 месяца мониторинга качества и дообучений при необходимости.
Получите консультацию по вашему проекту — оценка бесплатно.
Требования к данным: для разметки достаточно сканов в форматах PDF, JPG, PNG. Разрешение не менее 150 DPI. Желательно, чтобы шаблоны были однотипными, но модель адаптируется к вариациям при достаточном количестве примеров (от 200).
Пошаговый процесс внедрения
- Сбор и разметка данных — выделяем 200–500 сканов вашего типа, размечаем поля через Label Studio.
- Fine-tuning модели — настраиваем LayoutLMv3 под вашу разметку, оптимизируем гиперпараметры.
- Постобработка — добавляем правила валидации (форматы, контрольные суммы).
- Упаковка в API — модель в Docker-контейнере с REST эндпоинтами.
- Интеграция и тестирование — подключаем к вашей системе, проверяем на отложенной выборке.
- Мониторинг и поддержка — отслеживаем качество, при необходимости дообучаем.
Сроки: один тип документа с размеченной выборкой занимает 4–6 недель, для 3–5 типов — 8–12 недель, универсальный экстрактор — до 18 недель.
Наши компетенции и гарантии
Мы — команда ML-инженеров с 7+ годами опыта в Computer Vision и NLP. Реализовали более 30 проектов по Document AI для банков, логистики и ритейла. Имеем сертифицированный опыт работы с Hugging Face и NVIDIA.
Гарантируем точность на вашем типе документов: если F1 ниже оговорённого порога на тестовой выборке — дорабатываем модель бесплатно. Внедрение включает мониторинг и возможность дообучения в течение 3 месяцев.
Закажите пилотный проект — оцените результат на ваших данных. Если вы хотите автоматизировать документооборот, свяжитесь с нами для консультации и оценки проекта.