Розробка пайплайну аугментації зображень для навчання CV-моделі

Ми зіткнулися з типовою задачею: датасет із 800 зображень став датасетом із 24 000 — звучить гарно, але якщо аугментації неправильні, модель просто перенавчиться на артефакти самих трансформацій. Аугментації повинні імітувати реальні зміни в production-даних, а не просто збільшувати кількість картинок. Наша практика підтверджує: правильно налаштований пайплайн піднімає accuracy на 5–12% без нової розмітки та економить бюджет. Наприклад, у проєкті з детекції дефектів на металі ми спочатку застосували фотометричні аугментації, але модель почала плутати подряпини з відблисками. Після заміни на геометричні та додавання синтетики через Stable Diffusion recall виріс із 0.61 до 0.78 при precision вище 0.80. Економія на розмітці склала від $2,000 до $10,000. У середньому клієнти економлять від $5,000 до $15,000 на кожному проєкті.

Як вибрати політику аугментації під конкретний домен?

Налаштування аугментацій залежить від домену та задачі. Для outdoor потрібні сильні зміни освітлення та погоди. Для medical — тільки геометричні та обережні фотометричні. Нижче — базова політика на Albumentations, яку ми адаптуємо під проєкт.

import albumentations as A from albumentations.pytorch import ToTensorV2 def build_augmentation_pipeline( task: str = 'detection', # 'classification' | 'detection' | 'segmentation' domain: str = 'outdoor' # 'outdoor' | 'indoor' | 'medical' | 'satellite' ) -> A.Compose: """ Политика аугментации зависит от домена. Outdoor — агрессивные изменения освещения и погоды. Medical — только геометрические, цветовые противопоказаны. """ geometric = [ A.HorizontalFlip(p=0.5), A.ShiftScaleRotate( shift_limit=0.05 if task == 'detection' else 0.1, scale_limit=0.1, rotate_limit=15, border_mode=0, # constant padding p=0.5 ), ] photometric_outdoor = [ A.RandomBrightnessContrast( brightness_limit=0.3, contrast_limit=0.3, p=0.6 ), A.HueSaturationValue( hue_shift_limit=15, sat_shift_limit=40, val_shift_limit=30, p=0.4 ), A.RandomFog(fog_coef_lower=0.1, fog_coef_upper=0.35, p=0.15), A.RandomRain( slant_lower=-10, slant_upper=10, drop_length=15, drop_width=1, drop_color=(200, 200, 200), blur_value=2, brightness_coefficient=0.85, p=0.1 ), A.RandomSunFlare( flare_roi=(0, 0, 1, 0.5), angle_lower=0, num_flare_circles_lower=3, num_flare_circles_upper=6, src_radius=200, p=0.08 ), ] photometric_medical = [ A.RandomGamma(gamma_limit=(80, 120), p=0.4), A.CLAHE(clip_limit=3.0, tile_grid_size=(8, 8), p=0.3), ] photometric = ( photometric_outdoor if domain == 'outdoor' else photometric_medical ) noise = [ A.GaussNoise(var_limit=(10, 50), p=0.3), A.ImageCompression(quality_lower=75, quality_upper=100, p=0.2), A.Blur(blur_limit=3, p=0.1), ] bbox_params = ( A.BboxParams( format='yolo', label_fields=['class_labels'], min_visibility=0.3 ) if task == 'detection' else None ) transforms = geometric + photometric + noise + [ A.Normalize( mean=(0.485, 0.456, 0.406), std=(0.229, 0.224, 0.225) ), ToTensorV2() ] return A.Compose(transforms, bbox_params=bbox_params) 

Коли використовувати MixUp та CutMix?

Прості аугментації не прибирають перенавчання при малому датасеті. MixUp та CutMix створюють нові приклади змішанням двох зображень — це хороша регуляризація. MixUp, запропонований у статті Zhang et al., 2018 MixUp: Beyond Empirical Risk Minimization, кращий для задач з глобальними ознаками, CutMix — для локальних патернів. При цьому важливо контролювати коефіцієнт lambda: для alpha=0.4 змішання виходить помірним, модель краще узагальнює.

import torch import numpy as np def mixup_batch( images: torch.Tensor, # (B, C, H, W) labels: torch.Tensor, # (B,) для классификации alpha: float = 0.4 ) -> tuple[torch.Tensor, torch.Tensor, torch.Tensor, float]: lam = np.random.beta(alpha, alpha) batch_size = images.size(0) perm = torch.randperm(batch_size) mixed_images = lam * images + (1 - lam) * images[perm] labels_a = labels labels_b = labels[perm] return mixed_images, labels_a, labels_b, lam def cutmix_batch( images: torch.Tensor, labels: torch.Tensor, alpha: float = 1.0 ) -> tuple[torch.Tensor, torch.Tensor, torch.Tensor, float]: lam = np.random.beta(alpha, alpha) batch_size, _, H, W = images.shape perm = torch.randperm(batch_size) cut_ratio = np.sqrt(1 - lam) cut_h = int(H * cut_ratio) cut_w = int(W * cut_ratio) cx = np.random.randint(W) cy = np.random.randint(H) x1 = max(cx - cut_w // 2, 0) y1 = max(cy - cut_h // 2, 0) x2 = min(cx + cut_w // 2, W) y2 = min(cy + cut_h // 2, H) mixed = images.clone() mixed[:, :, y1:y2, x1:x2] = images[perm, :, y1:y2, x1:x2] lam = 1 - (y2-y1) * (x2-x1) / (H * W) return mixed, labels, labels[perm], lam def mixup_criterion(criterion, pred, y_a, y_b, lam): return lam * criterion(pred, y_a) + (1 - lam) * criterion(pred, y_b) 

Синтетичні дані з Stable Diffusion

Зазначимо: коли реальних даних менше 100 прикладів на клас, синтетика через inpainting або ControlNet дає приріст AP на 8–15%. Ми використовуємо Stable Diffusion Inpainting для генерації дефектів на порожніх фонах. Також застосовуємо ControlNet для генерації по контуру, якщо потрібна точна вставка об'єкта.

from diffusers import StableDiffusionInpaintPipeline import torch from PIL import Image pipe = StableDiffusionInpaintPipeline.from_pretrained( 'runwayml/stable-diffusion-inpainting', torch_dtype=torch.float16 ).to('cuda') def generate_synthetic_defect( background_image: Image.Image, mask_image: Image.Image, defect_type: str = 'surface crack' ) -> Image.Image: prompt = ( f'industrial {defect_type}, high resolution, ' f'realistic texture, macro photography' ) result = pipe( prompt=prompt, image=background_image, mask_image=mask_image, num_inference_steps=30, guidance_scale=7.5, strength=0.85 ).images[0] return result 

На практиці: 80 реальних прикладів тріщин + 400 синтетичних підняли recall з 0.61 до 0.78 при збереженні precision > 0.80. Економія на розмітці — значна, часто досягає $10,000.

Порівняння стратегій аугментації

Типові помилки при налаштуванні аугментацій

• Застосування фотометричних аугментацій до медичних знімків — може знищити діагностичні ознаки.
• Використання надто агресивних геометричних трансформацій для детекції — bbox можуть вийти за межі зображення.
• Відсутність перевірки аугментацій на валідаційному наборі — іноді аугментації змінюють розподіл даних.
• Пропуск нормалізації після аугментацій — це ламає передтреновані ваги.
• Неправильна нормалізація після аугментацій — одна з частих причин падіння метрик на валідації.

Що входить у наш пайплайн аугментації?

Ми надаємо:

• Аналіз датасету та домену, виявлення ключових варіацій.
• Вибір стратегії: геометрія, фотометрія, MixUp/CutMix, синтетика.
• Реалізація pipeline на Albumentations з урахуванням task (bbox, маски).
• Інтеграція в тренувальний цикл (PyTorch/TensorFlow).
• Експерименти: A/B тестування комбінацій, фіксація метрик у Weights & Biases.
• Генерація синтетичних даних (опціонально) через Stable Diffusion.
• Деплой моделі з фінальним пайплайном (тільки inference-трансформації).
• Документація та навчання команди.

Процес роботи

1. Аналіз датасету та домену: вивчаємо варіативність даних, типові спотворення в production.
2. Вибір стратегії: геометрія, фотометрія, MixUp/CutMix або синтетика.
3. Налаштування pipeline на Albumentations з урахуванням task (bbox, маски).
4. Інтеграція в тренувальний цикл (PyTorch/TensorFlow).
5. Експерименти: тестуємо різні комбінації, фіксуємо метрики.
6. Генерація синтетичних даних (опціонально) через Stable Diffusion.
7. Деплой моделі з фінальним пайплайном (тільки inference-трансформації).

Строки та вартість

Вартість розраховується індивідуально. Ми гарантуємо прозорий процес та фіксацію метрик на кожному етапі. Зв'яжіться з нами для оцінки вашого проєкту — підберемо оптимальну стратегію аугментації під ключ. Замовте аудит поточного пайплайну — отримайте конкретні рекомендації щодо покращення. Отримайте консультацію сьогодні.