Автоматична класифікація документів за типом: реалізація на ML

Реалізація автоматичної класифікації документів за типом

Класифікація документів — перший етап у Document Processing Pipeline. Перш ніж витягувати дані, система повинна зрозуміти, що за документ перед нею: рахунок-фактура, накладна, паспорт чи акт. Для кожного типу потрібен свій екстрактор, помилка на цьому етапі ламає весь ланцюжок. Ми реалізували мультимодальний класифікатор, який одночасно аналізує візуальні та текстові ознаки. Такий підхід дає точність до 97% на українських документах — це на 5–7% вище за чисто текстові рішення. Економія часу на ручному сортуванні сягає 80%. Зниження витрат на обробку документів — до 70%, середній термін окупності — 6–12 місяців.

У статті розберемо побудову системи класифікації, вибір моделі та типові помилки. Опишемо реальний кейс впровадження. Гарантуємо якість на кожному етапі — від розмітки до деплою.

Чому ми обрали мультимодальний підхід?

Чисто текстова класифікація на основі OCR дає точність 85–90%. Додавання візуальних ознак піднімає планку до 94–97%. Це критично для документів з однаковим текстом, але різним оформленням. Наприклад, рахунок від банку та рахунок від постачальника виглядають по-різному, хоча містять схожі поля. Візуальний аналізатор вловлює розташування логотипу, таблиці, кольорові блоки. Мультимодальний підхід LayoutLMv3: Multi-modal Pre-training в 1.5 рази точніший на складних документах.

Мультимодальна класифікація

Найкращий підхід — одночасно використовувати візуальні та текстові ознаки. Нижче — приклад на базі LayoutLMv3:

from transformers import LayoutLMv3ForSequenceClassification, LayoutLMv3Processor import torch import torch.nn as nn class DocumentClassifier: def __init__(self, model_path: str, doc_types: list[str]): self.processor = LayoutLMv3Processor.from_pretrained(model_path) self.model = LayoutLMv3ForSequenceClassification.from_pretrained( model_path, num_labels=len(doc_types) ) self.doc_types = doc_types self.model.eval() @torch.no_grad() def classify(self, image_path: str) -> dict: from PIL import Image image = Image.open(image_path).convert('RGB') encoding = self.processor( image, return_tensors='pt', truncation=True, max_length=512 ) outputs = self.model(**encoding) probs = torch.softmax(outputs.logits, dim=-1).squeeze() top_idx = probs.argmax().item() return { 'document_type': self.doc_types[top_idx], 'confidence': float(probs[top_idx]), 'all_scores': { self.doc_types[i]: float(probs[i]) for i in range(len(self.doc_types)) } } 

Навчання без LayoutLM: EfficientNet + BERT

Для швидкого прототипу без доступу до великих моделей використовуємо комбінацію EfficientNet (візуальний енкодер) та RuBERT (текстовий). Цей підхід дає 91–94% точності на 15 класах — поступається LayoutLMv3, але потребує на порядок менше ресурсів. Код легко адаптувати:

import timm from transformers import AutoTokenizer, AutoModel class LightweightDocClassifier(nn.Module): def __init__(self, num_classes: int): super().__init__() # Visual encoder self.visual = timm.create_model('efficientnet_b2', pretrained=True, num_classes=0) # Text encoder self.text_encoder = AutoModel.from_pretrained('DeepPavlov/rubert-base-cased') self.tokenizer = AutoTokenizer.from_pretrained('DeepPavlov/rubert-base-cased') # Fusion vis_dim = self.visual.num_features # 1408 text_dim = 768 self.fusion = nn.Sequential( nn.Linear(vis_dim + text_dim, 512), nn.GELU(), nn.Dropout(0.3), nn.Linear(512, num_classes) ) def forward(self, image_tensor, input_ids, attention_mask): vis_features = self.visual(image_tensor) text_out = self.text_encoder(input_ids, attention_mask) text_features = text_out.pooler_output # [CLS] token combined = torch.cat([vis_features, text_features], dim=-1) return self.fusion(combined) 

Типові класи документів

Колекція ознак для класифікації

Для підвищення точності додаємо структурні та текстові ознаки. Вони особливо корисні для розділення схожих типів, наприклад рахунок vs рахунок-фактура:

def extract_document_features(image_path: str, ocr_text: str) -> dict: return { # Структурні ознаки 'has_table': detect_tables(image_path), 'has_signature': detect_signature_zone(image_path), 'has_stamp': detect_stamp(image_path), 'has_photo': detect_person_photo(image_path), # Текстові патерни (регулярні вирази) 'has_inn': bool(re.search(r'\bІПН\b', ocr_text)), 'has_kpp': bool(re.search(r'\bКПП\b', ocr_text)), 'has_passport_series': bool(re.search(r'\d{4}\s\d{6}', ocr_text)), 'has_invoice_number': bool(re.search(r'№\s*\d+', ocr_text)), # Метадані 'aspect_ratio': get_aspect_ratio(image_path), 'orientation': detect_orientation(image_path), } 

Як впровадити класифікацію за 5 кроків?

Процес впровадження розбитий на чіткі етапи:

1. Аналіз документообігу — вивчаємо типи документів, їх обсяг, джерела надходження, поточні помилки.
2. Збір та розмітка датасету — збираємо від 2000 зразків на клас, розмічаємо тип. Використовуємо активне навчання для зниження витрат.
3. Вибір та навчання моделі — на основі аналізу обираємо LayoutLMv3 або EfficientNet+RuBERT.
4. Валідація та тестування — перевіряємо на реальних сканах, вимірюємо Top-1 Accuracy та Macro F1.
5. Інтеграція та деплой — пакуємо модель у REST API, надаємо документацію.