OCR Model Training (PaddleOCR, EasyOCR, TrOCR)

Training OCR-моделей: PaddleOCR, TrOCR, EasyOCR

Общий OCR — задача решённая: Tesseract, Google Vision, Azure Read API хорошо справляются со стандартным печатным текстом. Кастомное обучение OCR нужно для: специфических шрифтов (рукопись, промышленная маркировка, нестандартные символы), редких языков, деградированных документов (факсы, старые архивы), специализированных форматов (матрицы, химические формулы).

PaddleOCR — архитектура и fine-tuning

PaddleOCR состоит из трёх независимых компонентов: detection (DBNet), direction classifier, recognition (SVTR/PP-OCR). Fine-tuning можно применять к каждому отдельно.

# Конфигурация fine-tuning recognition модели в PaddleOCR
# configs/rec/PP-OCRv4/en_PP-OCRv4_rec.yml (модифицированный)

Global:
  use_gpu: true
  epoch_num: 200
  log_smooth_window: 20
  print_batch_step: 10
  save_model_dir: ./output/rec_custom/
  save_epoch_step: 10
  eval_batch_step: [0, 2000]
  cal_metric_during_train: true
  pretrained_model: ./pretrain_models/en_PP-OCRv4_rec_train/best_accuracy
  checkpoints: null
  save_inference_dir: null

  character_dict_path: ./my_dict.txt    # кастомный символьный словарь
  max_text_length: 40
  infer_mode: false
  use_space_char: true

Train:
  dataset:
    name: SimpleDataSet
    data_dir: ./train_data/rec/
    label_file_list: ['./train_data/rec/train_labels.txt']
    transforms:
      - DecodeImage: {img_mode: BGR, channel_first: false}
      - RecAug:              # аугментации для recognition
          use_tia: true      # thin-plate spline деформация
      - CTCLabelEncode:
          max_text_length: 40
          character_dict_path: ./my_dict.txt
      - RecResizeImg:
          image_shape: [3, 48, 320]    # H=48 фиксированная
      - KeepKeys:
          keep_keys: ['image', 'label', 'length']
  loader:
    shuffle: true
    batch_size_per_card: 128
    drop_last: true
    num_workers: 8

Optimizer:
  name: Adam
  beta1: 0.9
  beta2: 0.999
  lr:
    name: Piecewise
    decay_epochs: [100, 150]
    values: [0.001, 0.0001, 0.00001]

TrOCR — трансформерный OCR для сложных случаев

TrOCR (Microsoft) — encoder-decoder архитектура на базе ViT + RoBERTa. Превосходит PaddleOCR на рукописном тексте и низком качестве изображений:

from transformers import (
    TrOCRProcessor,
    VisionEncoderDecoderModel,
    Seq2SeqTrainer,
    Seq2SeqTrainingArguments
)
from torch.utils.data import Dataset
from PIL import Image
import torch

class OCRDataset(Dataset):
    def __init__(self, image_paths: list, labels: list,
                 processor: TrOCRProcessor):
        self.image_paths = image_paths
        self.labels = labels
        self.processor = processor

    def __len__(self): return len(self.image_paths)

    def __getitem__(self, idx):
        image = Image.open(self.image_paths[idx]).convert('RGB')
        pixel_values = self.processor(
            image, return_tensors='pt'
        ).pixel_values.squeeze()

        # Токенизация текстовой метки
        with self.processor.tokenizer.as_target_tokenizer():
            labels = self.processor.tokenizer(
                self.labels[idx],
                padding='max_length',
                max_length=64,
                truncation=True,
                return_tensors='pt'
            ).input_ids.squeeze()

        labels[labels == self.processor.tokenizer.pad_token_id] = -100
        return {'pixel_values': pixel_values, 'labels': labels}

def finetune_trocr(
    train_paths: list, train_labels: list,
    val_paths: list, val_labels: list,
    base_model: str = 'microsoft/trocr-base-handwritten',
    output_dir: str = './trocr_custom'
) -> VisionEncoderDecoderModel:

    processor = TrOCRProcessor.from_pretrained(base_model)
    model = VisionEncoderDecoderModel.from_pretrained(base_model)

    # Конфигурация decoder
    model.config.decoder_start_token_id = processor.tokenizer.cls_token_id
    model.config.pad_token_id = processor.tokenizer.pad_token_id
    model.config.vocab_size = model.config.decoder.vocab_size
    model.config.eos_token_id = processor.tokenizer.sep_token_id
    model.config.max_length = 64
    model.config.early_stopping = True
    model.config.no_repeat_ngram_size = 3
    model.config.length_penalty = 2.0
    model.config.num_beams = 4

    train_dataset = OCRDataset(train_paths, train_labels, processor)
    val_dataset   = OCRDataset(val_paths, val_labels, processor)

    training_args = Seq2SeqTrainingArguments(
        output_dir=output_dir,
        per_device_train_batch_size=8,
        per_device_eval_batch_size=8,
        num_train_epochs=50,
        learning_rate=4e-5,
        warmup_steps=500,
        weight_decay=0.01,
        fp16=True,
        predict_with_generate=True,
        evaluation_strategy='epoch',
        save_strategy='epoch',
        load_best_model_at_end=True,
        metric_for_best_model='cer'  # Character Error Rate
    )

    trainer = Seq2SeqTrainer(
        model=model,
        args=training_args,
        train_dataset=train_dataset,
        eval_dataset=val_dataset
    )
    trainer.train()
    return model

Metrics OCR

CER (Character Error Rate) — основная метрика. Levenshtein distance / длина референсного текста. WER (Word Error Rate) — для задач, где важна точность слов.

Типичные проблемы

• Распознавание нулей и букв O — критично для серийных номеров. Решение: расширенный словарь с контекстными правилами (only digits для серийных полей)
• Сложная фоновая текстура — накладывается на символы. Решение: STN (Spatial Transformer Network) перед recognition для выравнивания
• Вертикальный текст — PaddleOCR плохо работает без direction classifier. Нужен отдельный классификатор ориентации

Сроки