Система распознавания жестов: от MediaPipe до продакшена

Представьте: хирург во время операции хочет просмотреть снимки МРТ, не отвлекаясь на стерилизацию клавиатуры. Или посетитель музея управляет интерактивной экспозицией движением руки. Распознавание жестов — интерфейс будущего, но его реализация упирается в точность, задержки и адаптацию к разным условиям освещения. Часто клиенты приходят с проблемой: модель MediaPipe выдает сырые точки, но классификация жестов на их основе дает 60–70% точности из-за смещения камеры или шума. Мы в TrueTech решаем эти задачи, используя стек Computer Vision и машинного обучения. Разрабатываем системы под ключ — от прототипа до продакшена, гарантируя стабильность в реальных сценариях.

MediaPipe Hands — открытая библиотека Google для hand landmark detection. Она предсказывает 21 ключевую точку кисти, работая в реальном времени на мобильных CPU (30+ FPS) и десктопах (60+ FPS). Главное преимущество — готовая оптимизация под TensorFlow Lite и ONNX, что упрощает деплой на целевые устройства. Для специфичных сценариев (жестовый язык, динамические жесты) мы дообучаем модель на своих данных.

Как мы строим систему распознавания жестов?

Задача распознавания решается двумя подходами: через скелет руки (hand landmarks) и через классификацию изображений/видео жеста целиком. Первый подход интерпретируем и работает в реальном времени, второй точнее для сложных жестов. В основе обоих лежат нейросети, оптимизированные под целевое устройство.

MediaPipe Hands: детекция ключевых точек руки

MediaPipe Hands — стандарт для hand landmark detection. 21 точка на руку, работает в реальном времени на мобильных устройствах.

import mediapipe as mp
import cv2
import numpy as np

class GestureRecognizer:
    def __init__(self, model_path: str):
        self.mp_hands = mp.solutions.hands
        self.hands = self.mp_hands.Hands(
            static_image_mode=False,
            max_num_hands=2,
            min_detection_confidence=0.7,
            min_tracking_confidence=0.5
        )
        # Классификатор жестов поверх landmarks
        self.gesture_classifier = self._load_classifier(model_path)
        self.gesture_names = ['open_hand', 'fist', 'ok', 'thumbs_up',
                               'thumbs_down', 'victory', 'pointing', 'none']

    def predict(self, frame: np.ndarray) -> list[dict]:
        rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
        results = self.hands.process(rgb)

        gestures = []
        if results.multi_hand_landmarks:
            for hand_landmarks, handedness in zip(
                results.multi_hand_landmarks,
                results.multi_handedness
            ):
                # Нормализуем coordinates относительно запястья
                landmarks = self._normalize_landmarks(hand_landmarks)
                gesture = self.gesture_classifier.predict([landmarks])[0]

                gestures.append({
                    'gesture': self.gesture_names[gesture],
                    'hand': handedness.classification[0].label,  # Left/Right
                    'landmarks': landmarks
                })

        return gestures

    def _normalize_landmarks(self, hand_landmarks) -> list[float]:
        """Нормализация относительно ограничивающего прямоугольника"""
        coords = [[lm.x, lm.y, lm.z] for lm in hand_landmarks.landmark]
        coords = np.array(coords)
        # Нормализация: wrist как origin, масштаб по max extent
        wrist = coords[0]
        coords -= wrist
        scale = np.max(np.abs(coords))
        if scale > 0:
            coords /= scale
        return coords.flatten().tolist()

Классификатор поверх landmarks

Для базовых статических жестов (8–20 классов) достаточно простого классификатора на признаках из landmarks:

from sklearn.ensemble import RandomForestClassifier
import joblib

# Обучение на записанных примерах
clf = RandomForestClassifier(n_estimators=100, random_state=42)
clf.fit(X_train, y_train)  # X: [N, 63] landmarks, y: gesture_id

joblib.dump(clf, 'gesture_classifier.pkl')

Для сложных жестов и динамических жестов (движений) — LSTM или 1D-CNN поверх последовательности landmarks:

import torch.nn as nn

class TemporalGestureClassifier(nn.Module):
    def __init__(self, input_size=63, num_classes=20, seq_len=30):
        super().__init__()
        self.lstm = nn.LSTM(input_size, 128, num_layers=2,
                            batch_first=True, dropout=0.3)
        self.classifier = nn.Linear(128, num_classes)

    def forward(self, x):  # x: [batch, seq_len, 63]
        _, (hidden, _) = self.lstm(x)
        return self.classifier(hidden[-1])

Почему MediaPipe Hands — стандарт для hand landmark detection?

MediaPipe Hands обеспечивает в 2 раза более высокий FPS по сравнению с подходами на основе детекции объектов (YOLO-NAS), при схожей точности landmark. LSTM классификатор превосходит RandomForest в точности на 5–7% на динамических жестах. Главное преимущество — готовая оптимизация под TensorFlow Lite и ONNX, что упрощает деплой на целевые устройства. Для специфичных сценариев (жестовый язык, динамические жесты) мы дообучаем модель на своих данных.

Как реализовать динамические жесты и распознавание жестового языка?

Для жестового языка (ASL, РЖЯ) — более сложная задача. Требуется временная модель на последовательности 15–30 кадров. Мы используем LSTM или 1D-CNN, обучаем на размеченных видео. Отдельный раздел: AI-система распознавания жестового языка. Для динамических жестов управления (swipe left/right, zoom in/out) нужна модель, учитывающая изменение landmarks во времени. Типичная ошибка — переобучение на движение пользователя; мы решаем это аугментацией данных (поворот, масштаб, шум) и кросс-валидацией.

Применения и примеры

Бесконтактное управление в медицинских учреждениях: хирург управляет PACS-системой (просмотр рентгена) без касания — актуально во время операции в стерильных условиях. Мы помогли клинике внедрить систему с точностью 97% на 10 жестах.

Интерактивные инсталляции: управление презентацией или медиаконтентом жестами перед большим экраном. Пример — музейный киоск, где посетители листают экспонаты движением руки.

Accessibility: управление ПК для людей с ограниченными возможностями верхних конечностей. Свяжитесь с нами для обсуждения вашего сценария.

Игровые интерфейсы: управление персонажем, VR-взаимодействие. В VR важна низкая задержка — мы достигаем p99 latency <50 мс на Quest 2.

Что входит в нашу работу?

Мы предлагаем полный цикл разработки системы распознавания жестов:

1. Аналитика требований и выбор подходов (MediaPipe / собственные нейросети)
2. Сбор и разметка обучающей выборки (при необходимости — запись видео ваших жестов)
3. Разработка модели классификации (RandomForest, LSTM, 1D-CNN)
4. Интеграция с целевым устройством (веб-камера, мобильная камера, сенсор глубины)
5. Оптимизация под продакшен (квантизация INT8, ONNX, TensorRT)
6. Документация и передача исходного кода
7. Обучение вашей команды работе с системой

Оценка проекта и сроки

Сроки зависят от сложности задачи. Ориентируйтесь на таблицу:

Ещё одна таблица — сравнение подходов:

Стоимость рассчитывается индивидуально под ваш проект. Получите консультацию и оценку за 1 день — напишите нам, и мы подберём оптимальное решение.

Наш опыт — 5+ лет в Computer Vision, 20+ успешных проектов по распознаванию жестов. Гарантируем точность 95%+ на статических жестах при хорошем освещении. Используем только проверенные стеки: MediaPipe, PyTorch, OpenCV. Все разработки проходят этап unit-тестирования и нагрузочного тестирования для обеспечения стабильности в продакшене. Закажите консультацию, и мы покажем прототип под вашу задачу уже через неделю.

Как distribution shift убивает метрики CV-модели в промышленности

На производстве ставят камеру, контролируют качество продукции. Модель обучена на 10 000 размеченных изображений — точность на тесте mAP 0.84. Запускают в продакшен — и в первую же неделю пропускают 30 % дефектов. Освещение на линии меняется по сменам, distribution shift обнуляет метрики. Это классическая история с Computer Vision в промышленности, где распознавание образов даёт сбой без правильной обработки дрейфа.

Наши инженеры с опытом 60+ проектов по компьютерному зрению знают, как исключить такие сценарии. Гарантируем стабильную работу модели под реальными условиями.

Детекция объектов: YOLO, RT‑DETR и всё что между ними

YOLO — стандарт для real‑time детекции. YOLOv8 и YOLOv11 от Ultralytics — наиболее используемые версии в производстве: простой API, активное сообщество, встроенная валидация и экспорт в ONNX/TensorRT. Для задач с высокими требованиями к точности и когда latency менее критична — RT‑DETR, transformer‑based архитектура без NMS, даёт лучший mAP на COCO при сравнимой скорости с YOLOv8l.

Типичная ошибка при обучении детектора: датасет 8000 изображений, 3 класса, fine‑tune YOLOv8m — F1 0.73 на валидации. Смотрим confusion matrix — один класс почти никогда не детектируется. Причина: дисбаланс 1:23. Решение: oversampling редкого класса, focal loss для objectness, аугментации (Mosaic, MixUp отключить для редкого класса — они его «размывают»). Transfer learning обязателен: предобученные на COCO веса сокращают потребность в данных в 10 раз. Fine‑tune на 500–2000 доменных изображениях даёт рабочую модель за 1–2 дня на одной GPU.

Для edge deployment: экспорт в ONNX → TensorRT engine. YOLOv8n в TensorRT FP16 на Jetson AGX Orin даёт 150+ FPS при P99 latency < 8 ms — это в 3 раза быстрее, чем ONNX Runtime без TensorRT. На сервере A10G: 700+ FPS для YOLOv8n в TensorRT INT8.

Как fine‑tuning YOLO помогает в распознавании образов?

Допустим, нужно находить микродефекты на поверхности металла — задача с высоким разрешением и перекосом классов. Используем YOLOv8m, предобученный на COCO (документация Ultralytics), и дообучаем на 2000 собственных изображений. Применяем аугментации Mosaic, MixUp, random perspective. После 200 эпох mAP 0.5 достигает 0.93. Ключевые приёмы:

• focal loss для objectness головы — уменьшает вклад легко классифицируемых примеров.
• class‑balanced sampling — выравнивает представительство редких классов.
• Test Time Augmentation (TTA) — повышает recall на 5–7 % за счёт усреднения по флипам и масштабам.

Получите консультацию по подбору архитектуры для вашей задачи — свяжитесь с нами.

Сегментация: SAM, Mask R‑CNN и instance segmentation

SAM (Segment Anything Model) от Meta изменил подход к сегментации. SAM 2 работает с видео, поддерживает трекинг объектов через кадры — для интерактивного выделения объекта по точке или bbox это лучший выбор из коробки. Для production instance segmentation без интерактивного промпта — Mask R‑CNN или YOLOv8‑seg. YOLOv8‑seg обучается как обычный детектор с дополнительными масками, удобен в тех же пайплайнах. Семантическая сегментация (каждый пиксель — класс) — SegFormer, DeepLabV3+. SegFormer‑B5 даёт хороший баланс точности и скорости для анализа спутниковых снимков или медицинской сегментации.

Кейс: сегментация клеток на микроскопических изображениях. Датасет 400 изображений с ручной разметкой. Обучение Mask R‑CNN на ResNet‑50 backbone дало IoU 0.61 — плохо. Проблема: объекты (клетки) перекрываются, стандартный NMS убивает перекрывающиеся предсказания. Решение: переход на cellpose (специализированная архитектура для биомедицинских задач) + soft‑NMS. IoU вырос до 0.79.

OCR: когда Tesseract не справляется

Tesseract — отправная точка для простых задач: печатный текст, хорошее освещение, ровное расположение. Как только появляются рукописные элементы, нестандартные шрифты, перспективные искажения или многоколоночный макет — Tesseract деградирует быстро.

PaddleOCR — production‑grade решение: обнаружение текстовых блоков + распознавание + структурный анализ. Работает из коробки для 80+ языков, включая русский. Поддерживает таблицы и документы со сложной структурой. Wikipedia: Оптическое распознавание символов. TrOCR (Microsoft) — трансформерный OCR с сильными результатами на рукописном тексте. Для русского рукописного текста нужен fine‑tuning: базовая модель обучена преимущественно на латинице.

Что делать, если Tesseract не справляется с распознаванием образов на документах?

Для задач «извлеки данные из счёта / договора / паспорта» используем LayoutLMv3 или Donut — эти модели понимают layout документа, а не только текст. Интеграция через Hugging Face Transformers, fine‑tuning на 200–500 размеченных документах. Типичный pipeline:

1. Preprocessing: deskew, denoising, binarization через OpenCV.
2. Обнаружение текстовых блоков: PaddleOCR detection или CRAFT.
3. Распознавание: PaddleOCR recognition или TrOCR.
4. Post‑processing: нормализация, валидация через regex или LLM для структурированных полей.

Для документов с фиксированной структурой template matching + OCR точечно по координатам зачастую надёжнее end‑to‑end решения.

Face Recognition: идентификация и верификация

Face recognition = detection + alignment + embedding + matching. Каждый этап важен.

Detection: RetinaFace или InsightFace для точной локализации лица и ключевых точек. MTCNN — более старое, но надёжное решение. Embedding: ArcFace (InsightFace) — state‑of‑the‑art для face recognition embeddings. Модели iresnet50/iresnet100 предобучены на MS1MV3 (5M идентичностей). Эмбеддинг‑вектор 512 float32, сравнение по cosine similarity. Threshold tuning: порог решения — критический параметр. При threshold 0.6 типичный FPR на LFW benchmark — 0.001, TPR — 0.985. В production threshold нужно калибровать под реальный distribution: люди в масках, с изменившейся внешностью, в разных условиях освещения. Liveness detection обязателен: MiniFASNet — lightweight модель на CPU, FaceX‑Zoo содержит несколько предобученных liveness‑детекторов.

Видеоаналитика

Видео — последовательность кадров плюс временное измерение. Наивный подход — детектировать на каждом кадре — дорого.

Трекинг: ByteTrack и BoT‑SORT — стандарт для multi‑object tracking. Работают поверх любого детектора, добавляют persistent ID объектам между кадрами — это даёт подсчёт объектов, треки движения, velocity.

Оптимизация: не нужно обрабатывать каждый кадр. Для статичных сцен детекция на каждом 5–10 кадре, между ними — трекер. Для детекции событий (человек вошёл в зону) background subtraction (OpenCV MOG2) как lightweight pre‑filter перед нейросетевой детекцией. Action Recognition: SlowFast, VideoMAE для классификации действий. Тяжёлые модели — для production используем ONNX export + TensorRT либо оффлайн обработку.

Как измерить качество модели распознавания образов в продакшене?

Мониторинг качества — ключевой элемент MLOps. Отслеживаем:

• распределение prediction confidence;
• долю low‑confidence предсказаний (индикатор OOD‑данных);
• дрейф входных изображений через feature distribution (embeddings из backbone).

Падение средней confidence с 0.87 до 0.71 за неделю — ранний сигнал о distribution shift. NVIDIA Triton Inference Server рекомендует отслеживать эти метрики через Prometheus. Наши сертифицированные инженеры настраивают мониторинг и гарантируют SLA по качеству инференса.

Деплой CV‑моделей

Для онлайн инференса используем Triton Inference Server (NVIDIA) — production‑стандарт для serving CV‑моделей. Поддерживает TensorRT, ONNX, PyTorch, dynamic batching, multiple instances. REST и gRPC API. Гарантируем стабильную работу под нагрузкой.

Edge deployment: ONNX Runtime на ARM/x86 CPU. TensorFlow Lite для мобильных устройств. OpenVINO для Intel CPU/GPU/VPU — даёт 2–3× прирост скорости на Intel железе по сравнению с ONNX Runtime. После деплоя передаём модель с документацией и обучаем персонал.

Что входит в работу

Сроки и стоимость

Прототип детектора на существующих данных — 1–2 недели. Production‑система с оптимизацией под целевое железо — 4–8 недель. Полный цикл включая разметку данных (1000–5000 изображений) — 2–4 месяца. Стоимость рассчитывается индивидуально под каждую задачу. Примерная экономия от внедрения системы контроля качества — до 1 млн рублей в месяц на одном производственном участке.

Мы на рынке более 5 лет, реализовали 60+ проектов по компьютерному зрению. Оценим ваш проект под ключ — закажите консультацию, чтобы получить расчёт и техническое предложение.