Донавчання моделей Pose Estimation для кастомних сцен

Донавчання моделей оцінки пози: ViTPose, YOLOv8-pose, MediaPipe

Стандартні моделі Pose Estimation — MediaPipe або OpenPose — часто дають збій у нестандартних сценах: специфічна уніформа, незвичні ракурси, часткове перекриття тіла. Наприклад, на виробництві, де робітники виконують нахили та підйоми, COCO-моделі показують до 30% хибних пропусків. Наші інженери вирішують це завдання через кастомне донавчання ViTPose та YOLOv8-pose під вашу онтологію скелета. Ми в TrueTech маємо 5+ років досвіду в комп'ютерному зорі та десятки впроваджень на виробництвах. Пропонуємо послугу «під ключ»: від збору даних до API-розгортання.

Проблеми, які вирішуємо

Низька точність на робочих позах. COCO-моделі навчалися на побутових сценах. Для охорони праці потрібні нахили, присідання, підйом вантажу — інакше до 30% хибних пропусків. Нестача розмічених даних. Підготовка датасету з keypoints — трудомісткий етап. Використовуємо активне навчання та аугментацію, щоб скоротити витрати на розмітку в 2-3 рази. Latency для real-time. На складі 40 камер — потрібен деплой з Triton Server та квантування моделі до INT8 дає економію на GPU-інференсі до 40%.

Як підібрати архітектуру для pose estimation?

Вибір залежить від трьох параметрів: цільова точність (AP), допустима затримка (p99 latency) та платформа. MediaPipe дає <5ms на CPU, але AP ~67.4. YOLOv8l-pose — компроміс: 65.5 AP за 9ms на GPU. ViTPose-H — максимум: 79.1 AP, але 48ms на A100. Ми допомагаємо підібрати оптимум через профілювання на вашому обладнанні.

Чому ViTPose кращий за інші моделі?

ViTPose — трансформерна архітектура, на 12% точніша за CNN-аналоги (ResNet-50). Вона використовує self-attention для врахування глобального контексту, що критично при перекриттях. На COCO benchmark ViTPose-H тримає рекорд AP. При цьому fine-tuning потребує лише 10% розмічених даних від навчання з нуля.

Кастомна онтологія скелета

COCO визначає 17 keypoints. Для промислових завдань додаємо точки хвату, шолома, шиї — до 21-22 keypoints. Приклад онтології для охорони праці:

# Кастомна онтологія для оцінки пози робітника (охорона праці)
WORKER_SKELETON = {
    'keypoints': [
        'nose', 'left_eye', 'right_eye', 'left_ear', 'right_ear',
        'left_shoulder', 'right_shoulder',
        'left_elbow', 'right_elbow',
        'left_wrist', 'right_wrist',
        'left_hip', 'right_hip',
        'left_knee', 'right_knee',
        'left_ankle', 'right_ankle',
        # Розширення для промисловості
        'left_hand_center', 'right_hand_center',   # для детекції хвату
        'head_top',                                  # для шолома
        'neck'
    ],
    'skeleton': [
        [16, 14], [14, 12], [17, 15], [15, 13], [12, 13],
        [6, 12], [7, 13], [6, 7], [6, 8], [7, 9],
        [8, 10], [9, 11], [2, 3], [1, 2], [1, 3],
        [2, 4], [3, 5], [4, 6], [5, 7],
        [10, 18], [11, 19], [1, 21], [1, 20]   # кастомні з'єднання
    ]
}

Як донавчити ViTPose на кастомному датасеті?

Процес fine-tuning ViTPose включає кілька кроків:

1. Підготовка датасету — збір зображень, розмітка keypoints у форматі COCO. Використовуємо активне навчання для мінімізації ручної розмітки.
2. Налаштування конфігурації — зміна кількості keypoints у голові моделі, підбір гіперпараметрів (learning rate, batch size).
3. Запуск навчання — на GPU з підтримкою mixed precision. Моніторинг loss та метрик AP.
4. Квантування та оптимізація — конвертація в ONNX з INT8 квантуванням, деплой через Triton Inference Server.

Приклад коду для створення кастомної моделі ViTPose:

import torch
import torch.nn as nn
from mmpose.apis import init_model, inference_topdown
from mmpose.models import build_posenet
from mmengine.config import Config

def build_vitpose_custom(
    num_keypoints: int = 21,        # кастомна кількість точок
    pretrained_checkpoint: str = 'vitpose_base_coco.pth'
) -> nn.Module:
    cfg = Config.fromfile('configs/body_2d_keypoint/topdown_heatmap/'
                          'vitpose/td-hm_ViTPose-base_8xb64-210e_coco-256x192.py')

    # Змінюємо голову під нову кількість keypoints
    cfg.model.head.num_joints = num_keypoints
    cfg.model.test_cfg.num_joints = num_keypoints

    model = build_posenet(cfg.model)

    # Завантажуємо pretrained ваги, виключаючи голову
    state_dict = torch.load(pretrained_checkpoint)['state_dict']
    state_dict_filtered = {
        k: v for k, v in state_dict.items()
        if 'keypoint_head' not in k   # голову ініціалізуємо заново
    }
    model.load_state_dict(state_dict_filtered, strict=False)

    return model

Для швидкого старту використовуйте ViTPose офіційний репозиторій.

YOLOv8-pose — швидка альтернатива

Для real-time застосувань (відеоспостереження, спорт) виконуємо кастомізацію YOLOv8-pose:

from ultralytics import YOLO

# Fine-tuning YOLOv8-pose на кастомних даних
model = YOLO('yolov8m-pose.pt')
results = model.train(
    data='pose_dataset.yaml',   # включає keypoint_shape: [17, 3]
    imgsz=640,
    batch=16,
    epochs=100,
    device='0',
    kobj=1.0,    # вага лоссу keypoint об'єктності
    kpt_shape=[17, 3]   # [num_keypoints, visibility_flag]
)

Аналіз пози: визначення ергономічних порушень

Кейс з практики: система моніторингу охорони праці на складі. YOLOv8l-pose + класифікатор поз, 40 камер, 12 годин на добу. Вартість робіт розраховується індивідуально під ваш проект.

import numpy as np
from typing import Optional

class ErgoRiskAnalyzer:
    """
    Оцінка ергономічних ризиків за позою робітника.
    Метрика: RULA (Rapid Upper Limb Assessment) — стандарт ISO 11228.
    """

    def calculate_trunk_angle(
        self,
        left_shoulder: np.ndarray,   # [x, y]
        right_shoulder: np.ndarray,
        left_hip: np.ndarray,
        right_hip: np.ndarray
    ) -> float:
        """Кут нахилу торса від вертикалі в градусах"""
        shoulder_mid = (left_shoulder + right_shoulder) / 2
        hip_mid      = (left_hip + right_hip) / 2

        trunk_vec    = shoulder_mid - hip_mid
        vertical_vec = np.array([0, -1])   # вгору в системі координат зображення

        cos_angle = np.dot(trunk_vec, vertical_vec) / (
            np.linalg.norm(trunk_vec) * np.linalg.norm(vertical_vec) + 1e-6
        )
        return float(np.degrees(np.arccos(np.clip(cos_angle, -1, 1))))

    def assess_lifting_risk(
        self,
        keypoints: dict,   # {'left_shoulder': [x,y], 'right_shoulder': [x,y], ...}
        confidence_threshold: float = 0.5
    ) -> dict:
        """
        RULA-подібна оцінка ризику підйому вантажу.
        Ризики: пряма спина OK, нахил 20-60° — попередження, >60° — критично.
        """
        required_kpts = ['left_shoulder', 'right_shoulder', 'left_hip', 'right_hip']
        if not all(
            keypoints.get(k) is not None and keypoints[k][2] > confidence_threshold
            for k in required_kpts
        ):
            return {'risk': 'unknown', 'reason': 'low_confidence_keypoints'}

        trunk_angle = self.calculate_trunk_angle(
            keypoints['left_shoulder'][:2],
            keypoints['right_shoulder'][:2],
            keypoints['left_hip'][:2],
            keypoints['right_hip'][:2]
        )

        if trunk_angle > 60:
            risk_level = 'critical'
        elif trunk_angle > 20:
            risk_level = 'warning'
        else:
            risk_level = 'ok'

        return {
            'risk': risk_level,
            'trunk_angle_deg': round(trunk_angle, 1),
            'rula_trunk_score': 4 if trunk_angle > 60 else (3 if trunk_angle > 20 else 1)
        }

На пілотному проекті (склад, 120 робітників): система виявила 34 випадки систематичного підйому з порушенням протягом зміни. Після корекції робочих місць — зниження скарг на біль у спині на 41% за 3 місяці.

Порівняння методів

Що входить в роботу

• Аналіз вимог: вибір архітектури під latency/точність/платформу
• Збір та розмітка датасету (аугментація, активне навчання)
• Fine-tuning моделі (ViTPose/YOLOv8-pose) з підбором гіперпараметрів
• Квантування (INT8) та оптимізація інференсу (ONNX Runtime, TensorRT)
• Деплой через REST/gRPC (Triton, SageMaker) + моніторинг
• Документація, навчання команди, гарантія 3 місяці

Терміни

Отримайте консультацію з вибору архітектури для вашого завдання. Наші інженери допоможуть підібрати модель під ваші latency та точність. Зв'яжіться з нами для оцінки вашого проекту — ми проаналізуємо вимоги та запропонуємо оптимальне рішення.

Як distribution shift вбиває метрики CV-моделі в промисловості

На виробництві ставлять камеру, контролюють якість продукції. Модель навчена на 10 000 розмічених зображень — точність на тесті mAP 0.84. Запускають у продакшен — і в перший же тиждень пропускають 30% дефектів. Освітлення на лінії змінюється по змінах, distribution shift обнуляє метрики. Це класична історія з Computer Vision у промисловості, де розпізнавання образів дає збій без правильної обробки дрейфу.

Наші інженери з досвідом 60+ проектів з комп'ютерного зору знають, як виключити такі сценарії. Гарантуємо стабільну роботу моделі в реальних умовах.

Які архітектури детекції об'єктів обрати: YOLO, RT‑DETR чи інші?

YOLO — стандарт для real‑time детекції. YOLOv8 та YOLOv11 від Ultralytics — найбільш використовувані версії у виробництві: простий API, активна спільнота, вбудована валідація та експорт в ONNX/TensorRT. Для задач з високими вимогами до точності та коли latency менш критична — RT‑DETR, transformer‑based архітектура без NMS, дає кращий mAP на COCO при порівнянній швидкості з YOLOv8l.

Типова помилка при навчанні детектора: датасет 8000 зображень, 3 класи, fine‑tune YOLOv8m — F1 0.73 на валідації. Дивимося confusion matrix — один клас майже ніколи не детектується. Причина: дисбаланс 1:23. Рішення: oversampling рідкісного класу, focal loss для objectness, аугментації (Mosaic, MixUp вимкнути для рідкісного класу — вони його «розмивають»). Transfer learning обов'язковий: передтреновані на COCO ваги скорочують потребу в даних у 10 разів. Fine‑tune на 500–2000 доменних зображеннях дає робочу модель за 1–2 дні на одній GPU.

Для edge deployment: експорт в ONNX → TensorRT engine. YOLOv8n в TensorRT FP16 на Jetson AGX Orin дає 150+ FPS при P99 latency < 8 ms — це в 3 рази швидше, ніж ONNX Runtime без TensorRT. На сервері A10G: 700+ FPS для YOLOv8n в TensorRT INT8.

Як fine‑tuning YOLO допомагає в розпізнаванні образів?

Припустимо, потрібно знаходити мікродефекти на поверхні металу — задача з високою роздільною здатністю та перекосом класів. Використовуємо YOLOv8m, передтренований на COCO (документація Ultralytics), і донавчаємо на 2000 власних зображень. Застосовуємо аугментації Mosaic, MixUp, random perspective. Після 200 епох mAP 0.5 досягає 0.93. Ключові прийоми:

• focal loss для objectness голови — зменшує внесок легко класифікованих прикладів.
• class‑balanced sampling — вирівнює представництво рідкісних класів.
• Test Time Augmentation (TTA) — підвищує recall на 5–7% за рахунок усереднення по фліпах та масштабах.

Отримайте консультацію з підбору архітектури для вашого завдання — зв'яжіться з нами.

Які архітектури сегментації обрати: SAM, Mask R‑CNN чи інші?

SAM (Segment Anything Model) від Meta змінив підхід до сегментації. SAM 2 працює з відео, підтримує трекінг об'єктів через кадри — для інтерактивного виділення об'єкта по точці або bbox це найкращий вибір з коробки. Для production instance segmentation без інтерактивного промпту — Mask R‑CNN або YOLOv8‑seg. YOLOv8‑seg навчається як звичайний детектор з додатковими масками, зручний у тих же пайплайнах. Семантична сегментація (кожен піксель — клас) — SegFormer, DeepLabV3+. SegFormer‑B5 дає хороший баланс точності та швидкості для аналізу супутникових знімків або медичної сегментації.

Кейс: сегментація клітин на мікроскопічних зображеннях. Датасет 400 зображень з ручною розміткою. Навчання Mask R‑CNN на ResNet‑50 backbone дало IoU 0.61 — погано. Проблема: об'єкти (клітини) перекриваються, стандартний NMS вбиває перекриваючі передбачення. Рішення: перехід на cellpose (спеціалізована архітектура для біомедичних задач) + soft‑NMS. IoU зріс до 0.79.

Коли Tesseract не справляється з OCR?

Tesseract — відправна точка для простих задач: друкований текст, хороше освітлення, рівне розташування. Як тільки з'являються рукописні елементи, нестандартні шрифти, перспективні спотворення або багатоколоночний макет — Tesseract деградує швидко.

PaddleOCR — production‑grade рішення: виявлення текстових блоків + розпізнавання + структурний аналіз. Працює з коробки для 80+ мов, включаючи українську. Підтримує таблиці та документи зі складною структурою. Wikipedia: Оптичне розпізнавання символів. TrOCR (Microsoft) — трансформерний OCR з сильними результатами на рукописному тексті. Для українського рукописного тексту потрібен fine‑tuning: базова модель навчена переважно на латиниці.

Що робити, якщо Tesseract не справляється з розпізнаванням образів на документах?

Для задач «витягни дані з рахунку / договору / паспорта» використовуємо LayoutLMv3 або Donut — ці моделі розуміють layout документа, а не тільки текст. Інтеграція через Hugging Face Transformers, fine‑tuning на 200–500 розмічених документах. Типовий pipeline:

1. Preprocessing: deskew, denoising, binarization через OpenCV.
2. Виявлення текстових блоків: PaddleOCR detection або CRAFT.
3. Розпізнавання: PaddleOCR recognition або TrOCR.
4. Post‑processing: нормалізація, валідація через regex або LLM для структурованих полів.

Для документів з фіксованою структурою template matching + OCR точково по координатах часто надійніше за end‑to‑end рішення.

Face Recognition: ідентифікація та верифікація

Face recognition = detection + alignment + embedding + matching. Кожен етап важливий.

Detection: RetinaFace або InsightFace для точної локалізації обличчя та ключових точок. MTCNN — старіше, але надійне рішення. Embedding: ArcFace (InsightFace) — state‑of‑the‑art для face recognition embeddings. Моделі iresnet50/iresnet100 передтреновані на MS1MV3 (5M ідентичностей). Ембеддинг‑вектор 512 float32, порівняння за cosine similarity. Threshold tuning: поріг рішення — критичний параметр. При threshold 0.6 типовий FPR на LFW benchmark — 0.001, TPR — 0.985. У production threshold потрібно калібрувати під реальний distribution: люди в масках, зі зміненою зовнішністю, в різних умовах освітлення. Liveness detection обов'язковий: MiniFASNet — lightweight модель на CPU, FaceX‑Zoo містить кілька передтренованих liveness‑детекторів.

Відеоаналітика

Відео — послідовність кадрів плюс часовий вимір. Наївний підхід — детектувати на кожному кадрі — дорого.

Трекінг: ByteTrack та BoT‑SORT — стандарт для multi‑object tracking. Працюють поверх будь-якого детектора, додають persistent ID об'єктам між кадрами — це дає підрахунок об'єктів, трекі руху, velocity.

Оптимізація: не потрібно обробляти кожен кадр. Для статичних сцен детекція на кожному 5–10 кадрі, між ними — трекер. Для детекції подій (людина увійшла в зону) background subtraction (OpenCV MOG2) як lightweight pre‑filter перед нейромережевою детекцією. Action Recognition: SlowFast, VideoMAE для класифікації дій. Важкі моделі — для production використовуємо ONNX export + TensorRT або офлайн обробку.

Як виміряти якість моделі розпізнавання образів у продакшені?

Моніторинг якості — ключовий елемент MLOps. Відстежуємо:

• розподіл prediction confidence;
• частку low‑confidence передбачень (індикатор OOD‑даних);
• дрейф вхідних зображень через feature distribution (embeddings з backbone).

Падіння середньої confidence з 0.87 до 0.71 за тиждень — ранній сигнал про distribution shift. NVIDIA Triton Inference Server рекомендує відстежувати ці метрики через Prometheus. Наші сертифіковані інженери налаштовують моніторинг і гарантують SLA по якості інференсу.

Деплой CV‑моделей

Для онлайн інференсу використовуємо Triton Inference Server (NVIDIA) — production‑стандарт для serving CV‑моделей. Підтримує TensorRT, ONNX, PyTorch, dynamic batching, multiple instances. REST та gRPC API. Гарантуємо стабільну роботу під навантаженням.

Edge deployment: ONNX Runtime на ARM/x86 CPU. TensorFlow Lite для мобільних пристроїв. OpenVINO для Intel CPU/GPU/VPU — дає 2–3× приріст швидкості на Intel залізі порівняно з ONNX Runtime. Після деплою передаємо модель з документацією та навчаємо персонал.

Що входить в роботу

Терміни та вартість

Прототип детектора на існуючих даних — 1–2 тижні. Production‑система з оптимізацією під цільове залізо — 4–8 тижнів. Повний цикл включаючи розмітку даних (1000–5000 зображень) — 2–4 місяці. Вартість розраховується індивідуально під кожну задачу. Ми на ринку більше 5 років, реалізували 60+ проектів з комп'ютерного зору. Оцінимо ваш проект під ключ — замовте консультацію, щоб отримати розрахунок та технічну пропозицію.