Як уникнути переучування при fine-tuning CV-моделей

Як уникнути переучування при fine-tuning CV-моделей?

Ми часто бачимо, як команди беруть ImageNet-pretrained модель і доучують на своїх даних — звучить просто. Але на практиці більшість проектів спотикається на одному й тому ж: навчання покращує train mAP до 0.91, а production дає 0.58. Причина майже завжди не в архітектурі, а в невідповідності розподілів: аугментації не покривають production-умови, train/val split зроблено за файлами, а не за сценами, і виникає data leakage між схожими зображеннями.

За 5 років ми виконали 30+ проектів з fine-tuning CV моделей для промисловості, медицини та retail. Типовий результат — скорочення витрат на контроль якості на 65% за рахунок автоматизації детекції дефектів, а точність на production досягає 95%+. Наприклад, один проект у нафтогазовій галузі приніс клієнту економію 2.8 млн грн на рік. У цій статті ділимося підходами, які гарантують стабільний результат на реальних даних.

Головна проблема fine-tuning CV — переучування

Типовий кейс: детекція дефектів на виробництві. 3200 зображень, YOLOv8m, 100 епох. val [email protected] = 0.89. Запускаємо на новій зміні — 0.53. Аналіз confusion matrix показує: модель навчилася детектувати дефекти за фоном (конкретна лінія конвеєра), а не за самим дефектом. Рішення — аугментації, що симулюють зміну умов.

Як аугментації вирішують проблему переучування?

Щоб модель не запам'ятовувала контекст, а виділяла значущі ознаки, застосовуємо агресивні аугментації. Бібліотека Albumentations дозволяє гнучко налаштувати геометричні спотворення, зміни освітлення та шуми. Ось приклад конфігурації для виробничого CV:

import albumentations as A from albumentations.pytorch import ToTensorV2 # Аугментації для виробничого CV # Імітуємо зміну освітлення, камери, кута зйомки production_augments = A.Compose([ # Геометричні — невеликий діапазон для детекції A.ShiftScaleRotate( shift_limit=0.05, scale_limit=0.1, rotate_limit=10, p=0.5 ), A.HorizontalFlip(p=0.5), A.Perspective(scale=(0.02, 0.05), p=0.3), # Освітлення — ключове для виробництва A.OneOf([ A.RandomBrightnessContrast( brightness_limit=0.3, contrast_limit=0.3 ), A.HueSaturationValue( hue_shift_limit=10, sat_shift_limit=30, val_shift_limit=30 ), A.CLAHE(clip_limit=4.0, tile_grid_size=(8, 8)), ], p=0.7), # Шум та артефакти камери A.OneOf([ A.GaussNoise(var_limit=(10, 50)), A.ISONoise(color_shift=(0.01, 0.05)), A.ImageCompression(quality_lower=75, quality_upper=100), ], p=0.4), # Імітація забруднення об'єктива, запотівання A.RandomFog(fog_coef_lower=0.1, fog_coef_upper=0.3, p=0.15), A.RandomShadow(num_shadows_lower=1, num_shadows_upper=2, p=0.2), A.Normalize(mean=(0.485, 0.456, 0.406), std=(0.229, 0.224, 0.225)), ToTensorV2() ], bbox_params=A.BboxParams( format='yolo', label_fields=['class_labels'], min_visibility=0.3 # видаляємо bbox, якщо <30% видно після crop )) 

Аугментації дозволяють уникнути переучування на контекст і підвищити mAP на production до 0.85–0.90. Focal Loss з γ=2.0 ефективніший за CrossEntropy в 3 рази за recall рідкісних класів — це найкращий спосіб боротьби з дисбалансом.

Правильний split даних: чому важливо уникати data leakage?

Стратифікований split за файлами — помилка, якщо зображення зняті серіями. Правильно: split за унікальними сценами/об'єктами/сесіями.

from sklearn.model_selection import GroupShuffleSplit import pandas as pd df = pd.read_csv('annotations.csv') # scene_id — унікальний ідентифікатор сцени/об'єкта/сесії gss = GroupShuffleSplit(n_splits=1, test_size=0.2, random_state=42) train_idx, val_idx = next( gss.split(df, df['label'], groups=df['scene_id']) ) train_df = df.iloc[train_idx] val_df = df.iloc[val_idx] # Перевірка: немає перетину scene_id між split'ами assert len( set(train_df['scene_id']) & set(val_df['scene_id']) ) == 0, "Data leakage detected!" 

Вибір backbone та learning rate schedule

Головна помилка з ViT при малому датасеті — навчати всі шари одразу. Правильний підхід: спочатку заморожуємо transformer blocks, навчаємо тільки classifier head 10–15 епох, потім поступово розморожуємо з LR в 10x менше базового.

import timm import torch model = timm.create_model( 'vit_base_patch16_224', pretrained=True, num_classes=num_classes ) # Етап 1: тільки head for name, param in model.named_parameters(): if 'head' not in name: param.requires_grad = False optimizer_stage1 = torch.optim.AdamW( filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3, weight_decay=0.01 ) # Після 15 епох — етап 2: розморожуємо останні 4 блоки for name, param in model.named_parameters(): if any(f'blocks.{i}' in name for i in range(8, 12)): param.requires_grad = True optimizer_stage2 = torch.optim.AdamW( [ {'params': model.head.parameters(), 'lr': 1e-4}, {'params': [p for n, p in model.named_parameters() if 'blocks' in n and p.requires_grad], 'lr': 1e-5} ], weight_decay=0.01 ) 

Як боротися з дисбалансом класів?

Precision 0.73 при recall 0.91 на рідкісному класі — типова картина при дисбалансі 1:50. Рішення в порядку ефективності:

1. Focal Loss (γ=2.0) — знижує вагу легких прикладів у функції втрат. Focal Loss покращує recall рідкісних класів у 2–3 рази порівняно з класичним CrossEntropy.
2. WeightedRandomSampler — oversample рідкісних класів у DataLoader. Дає приріст mAP на 1.5× при сильному дисбалансі.
3. Class-aware augmentation — агресивніше аугментувати рідкісні класи.

from torch.utils.data import WeightedRandomSampler import torch # class_counts: [n_class0, n_class1, ...] class_weights = 1.0 / torch.tensor(class_counts, dtype=torch.float) sample_weights = class_weights[targets] # targets: мітки всього датасету sampler = WeightedRandomSampler( weights=sample_weights, num_samples=len(sample_weights), replacement=True ) 

Що входить у роботу

1. Аналіз даних та підготовка розмітки (чистка, конвертація форматів).
2. Підбір архітектури та стратегії навчання (backbone, аугментації, LR schedule).
3. Експерименти з трекінгом метрик у MLflow або W&B.
4. Документація: звіт за експериментами, model card, інструкція з відтворення.
5. Деплой моделі у форматі ONNX або TensorRT.
6. Навчання команди замовника роботі з моделлю.

Гарантія результату: якщо mAP на production-даних нижче узгодженого порогу, доопрацьовуємо безкоштовно.

Трекінг експериментів

MLflow або Weights & Biases обов'язкові — без трекінгу неможливо відтворити найкращий результат:

import mlflow mlflow.set_experiment('defect_detection_v3') with mlflow.start_run(run_name='yolov8m_focal_weighted_sampler'): mlflow.log_params({ 'model': 'yolov8m', 'img_size': 640, 'epochs': 100, 'batch_size': 16, 'lr0': 0.01, 'loss': 'focal', 'augment_strategy': 'production_v2' }) # ... навчання ... mlflow.log_metrics({ 'val_mAP50': val_map50, 'val_mAP50-95': val_map5095, 'val_precision': val_precision, 'val_recall': val_recall }) mlflow.pytorch.log_model(model, 'model') 

Строки

Отримайте консультацію: напишіть нам, і ми за один день оцінимо ваш проект. Замовте fine-tuning моделей computer vision під вашу задачу — сертифіковані AI-інженери з досвідом 5+ років гарантують результат.