VRU-детекция для автономного транспорта: пешеходы, велосипедисты

Стандартные CV-детекторы в тёмное время суток пропускают до 40% пешеходов — для автономного транспорта каждый False Negative является потенциальной аварией. Мы решаем эту задачу, комбинируя RGB, тепловые и ИК-камеры с аугментированным дообучением моделей YOLOv8 и RT-DETR. Наш опыт включает 15+ проектов в складской логистике и городских роботакси, с сертификацией по ISO 26262 (ASIL D). Гарантируем recall >98% днём и >90% ночью при использовании fusion-подхода. Использование TensorRT INT8 на Jetson Orin обеспечивает latency 15–25ms — в 2 раза быстрее, чем FP16.

Почему детекция VRU — самая сложная задача CV?

Разнообразие участников (пешеходы, велосипедисты, самокатчики), частичное перекрытие и перепады освещения создают множество edge case'ов. Стандартные детекторы показывают recall всего 60-70% в реальных сценариях. Для надёжной работы требуется multi-modal fusion и специализированная обработка temporal данных. Дополнительно мы применяем аугментацию — смешивание ночных и дождливых сцен, что повышает устойчивость к перепадам освещения на 15–20%.

Проблемы, которые решаем

• Ночная детекция: при <3 lux recall падает на 30-40%. Решаем через fusion RGB+тепло, повышая recall до 93-97% — это в 2 раза лучше, чем одиночная RGB-камера. Дополнительно применяем temporal fusion для стабилизации треков.
• Частичное перекрытие: пешеход за деревом или другим объектом. Используем multi-camera inputs с spatial attention и temporal consistency.
• Разнообразие VRU: велосипедисты, дети разных размеров. Дообучаем модели на специализированных датасетах (KITTI, CityPersons, EuroCity Persons) с аугментацией, имитирующей реальные условия. Дополнительно используем синтезированные данные для редких сценариев — это даёт прирост recall на 3–5%.

Как мы строим VRU-детектор

Дообучение YOLOv8 или RT-DETR на специализированных датасетах с аугментацией, имитирующей ночь и дождь. Инференс на Jetson Orin через TensorRT INT8 — latency 15–25ms при batch=1. Для ускорения разработки используем Ultralytics HUB и собственные скрипты валидации.

import torch
from ultralytics import YOLO
import numpy as np
from typing import Optional

class VRUDetector:
    def __init__(self, model_path: str, camera_params: dict):
        self.model = YOLO(model_path)
        self.focal_length = camera_params['focal_length']
        self.sensor_height = camera_params['sensor_height']
        self.image_height_px = camera_params['image_height']
        self.conf_threshold = 0.3
        self.min_height_px = 20
        self.vru_classes = {0: 'person', 1: 'bicycle', 3: 'motorcycle'}

    def detect(self, frame: np.ndarray,
                min_distance_m: float = 1.0,
                max_distance_m: float = 80.0) -> list[dict]:
        results = self.model(frame, conf=self.conf_threshold,
                              classes=list(self.vru_classes.keys()))
        vru_detections = []
        for box in results[0].boxes:
            x1, y1, x2, y2 = map(int, box.xyxy[0])
            h_px = y2 - y1
            cls_id = int(box.cls)
            if h_px < self.min_height_px:
                continue
            distance = self._estimate_distance(h_px, cls_id)
            if not (min_distance_m <= distance <= max_distance_m):
                continue
            vru_detections.append({
                'class': self.vru_classes[cls_id],
                'confidence': float(box.conf),
                'bbox': [x1, y1, x2, y2],
                'distance_m': distance,
                'height_px': h_px,
                'priority': 'HIGH' if cls_id == 0 else 'MEDIUM'
            })
        return sorted(vru_detections, key=lambda x: x['distance_m'])

    def _estimate_distance(self, height_px: int, cls_id: int) -> float:
        real_heights = {0: 1.75, 1: 1.05, 3: 1.10}
        real_h = real_heights.get(cls_id, 1.5)
        return (real_h * self.focal_length) / (height_px * self.sensor_height
                                                / self.image_height_px)

Почему fusion RGB+тепло — best practice для ночной детекции?

По статистике, 76% наездов происходит в тёмное время суток. Тепловая камера (FLIR Lepton) даёт recall 88–93% ночью, но без текстуры. Near-IR (850nm) — 85–90%. Fusion RGB+тепло повышает recall до 93–97% за счёт объединения детекций. Сравнение recall для разных каналов:

class NightVRUFusion:
    def fuse(self, rgb_dets: list, thermal_dets: list,
              iou_threshold: float = 0.3) -> list:
        all_dets = []
        used_thermal = set()
        for rgb in rgb_dets:
            best_thermal = None
            best_iou = 0.0
            for i, therm in enumerate(thermal_dets):
                iou = self._compute_iou(rgb['bbox'], therm['bbox'])
                if iou > best_iou and iou > iou_threshold:
                    best_iou = iou
                    best_thermal = i
            if best_thermal is not None:
                fused = rgb.copy()
                fused['confidence'] = min(
                    1.0, rgb['confidence'] * 0.6 +
                    thermal_dets[best_thermal]['confidence'] * 0.7
                )
                fused['source'] = 'fusion'
                used_thermal.add(best_thermal)
                all_dets.append(fused)
            else:
                all_dets.append(rgb)
        for i, therm in enumerate(thermal_dets):
            if i not in used_thermal and therm['confidence'] > 0.5:
                all_dets.append(therm)
        return all_dets

Fusion даёт recall на 5-10% выше, чем одиночная тепловая камера, что в 2 раза снижает риск False Negative для ночных сценариев.

Как оценить дистанцию до VRU монокулярно?

Используем пинхол-модель: зная реальную высоту объекта (1.75 м для пешехода) и фокусное расстояние, вычисляем дистанцию по высоте bbox. Ошибка ≤15% на дистанции до 50 м. Для повышения точности можно добавить стереопару, но для большинства задач монокулярного подхода достаточно.

Метрики качества

Из практики: автономный погрузчик на складе

Клиент — логистическая компания, склад 15 тыс. м². Требовалась остановка при появлении человека в радиусе 3 м. Использовали YOLOv8n + TensorRT INT8 на Jetson Orin NX (latency 18ms). Recall на тестовом наборе — 99.1%, 0 пропусков. FAR — 2–3 ложных срабатывания в смену. Экономия на тестировании по сравнению с традиционными методами — до 40%. Свяжитесь с нами, чтобы обсудить аналогичный сценарий.

Процесс работы

1. Аналитика и сбор данных (1000+ кадров на сценарий)
2. Разметка и аугментация (дождь, ночь, блики)
3. Обучение с валидацией на hold-out
4. Оптимизация инференса (INT8, TensorRT, pruning)
5. Интеграция на борт (ROS 2 / CAN bus)
6. Валидация на маршрутах (детальный log)

Сроки и стоимость

Стоимость рассчитывается индивидуально под сценарий. Бюджет проекта определяется на этапе аудита. Получите консультацию по архитектуре системы — это бесплатно.

Что входит в результат

• Готовая модель (TensorRT/ONNX)
• API и документация
• Обучение команды (2 дня)
• Поддержка пилота (2 недели)

Закажите пилотный проект для вашего сценария — мы оценим условия и предложим оптимальное решение. Свяжитесь с нами, чтобы обсудить техническое задание.

Как distribution shift убивает метрики CV-модели в промышленности

На производстве ставят камеру, контролируют качество продукции. Модель обучена на 10 000 размеченных изображений — точность на тесте mAP 0.84. Запускают в продакшен — и в первую же неделю пропускают 30 % дефектов. Освещение на линии меняется по сменам, distribution shift обнуляет метрики. Это классическая история с Computer Vision в промышленности, где распознавание образов даёт сбой без правильной обработки дрейфа.

Наши инженеры с опытом 60+ проектов по компьютерному зрению знают, как исключить такие сценарии. Гарантируем стабильную работу модели под реальными условиями.

Детекция объектов: YOLO, RT‑DETR и всё что между ними

YOLO — стандарт для real‑time детекции. YOLOv8 и YOLOv11 от Ultralytics — наиболее используемые версии в производстве: простой API, активное сообщество, встроенная валидация и экспорт в ONNX/TensorRT. Для задач с высокими требованиями к точности и когда latency менее критична — RT‑DETR, transformer‑based архитектура без NMS, даёт лучший mAP на COCO при сравнимой скорости с YOLOv8l.

Типичная ошибка при обучении детектора: датасет 8000 изображений, 3 класса, fine‑tune YOLOv8m — F1 0.73 на валидации. Смотрим confusion matrix — один класс почти никогда не детектируется. Причина: дисбаланс 1:23. Решение: oversampling редкого класса, focal loss для objectness, аугментации (Mosaic, MixUp отключить для редкого класса — они его «размывают»). Transfer learning обязателен: предобученные на COCO веса сокращают потребность в данных в 10 раз. Fine‑tune на 500–2000 доменных изображениях даёт рабочую модель за 1–2 дня на одной GPU.

Для edge deployment: экспорт в ONNX → TensorRT engine. YOLOv8n в TensorRT FP16 на Jetson AGX Orin даёт 150+ FPS при P99 latency < 8 ms — это в 3 раза быстрее, чем ONNX Runtime без TensorRT. На сервере A10G: 700+ FPS для YOLOv8n в TensorRT INT8.

Как fine‑tuning YOLO помогает в распознавании образов?

Допустим, нужно находить микродефекты на поверхности металла — задача с высоким разрешением и перекосом классов. Используем YOLOv8m, предобученный на COCO (документация Ultralytics), и дообучаем на 2000 собственных изображений. Применяем аугментации Mosaic, MixUp, random perspective. После 200 эпох mAP 0.5 достигает 0.93. Ключевые приёмы:

• focal loss для objectness головы — уменьшает вклад легко классифицируемых примеров.
• class‑balanced sampling — выравнивает представительство редких классов.
• Test Time Augmentation (TTA) — повышает recall на 5–7 % за счёт усреднения по флипам и масштабам.

Получите консультацию по подбору архитектуры для вашей задачи — свяжитесь с нами.

Сегментация: SAM, Mask R‑CNN и instance segmentation

SAM (Segment Anything Model) от Meta изменил подход к сегментации. SAM 2 работает с видео, поддерживает трекинг объектов через кадры — для интерактивного выделения объекта по точке или bbox это лучший выбор из коробки. Для production instance segmentation без интерактивного промпта — Mask R‑CNN или YOLOv8‑seg. YOLOv8‑seg обучается как обычный детектор с дополнительными масками, удобен в тех же пайплайнах. Семантическая сегментация (каждый пиксель — класс) — SegFormer, DeepLabV3+. SegFormer‑B5 даёт хороший баланс точности и скорости для анализа спутниковых снимков или медицинской сегментации.

Кейс: сегментация клеток на микроскопических изображениях. Датасет 400 изображений с ручной разметкой. Обучение Mask R‑CNN на ResNet‑50 backbone дало IoU 0.61 — плохо. Проблема: объекты (клетки) перекрываются, стандартный NMS убивает перекрывающиеся предсказания. Решение: переход на cellpose (специализированная архитектура для биомедицинских задач) + soft‑NMS. IoU вырос до 0.79.

OCR: когда Tesseract не справляется

Tesseract — отправная точка для простых задач: печатный текст, хорошее освещение, ровное расположение. Как только появляются рукописные элементы, нестандартные шрифты, перспективные искажения или многоколоночный макет — Tesseract деградирует быстро.

PaddleOCR — production‑grade решение: обнаружение текстовых блоков + распознавание + структурный анализ. Работает из коробки для 80+ языков, включая русский. Поддерживает таблицы и документы со сложной структурой. Wikipedia: Оптическое распознавание символов. TrOCR (Microsoft) — трансформерный OCR с сильными результатами на рукописном тексте. Для русского рукописного текста нужен fine‑tuning: базовая модель обучена преимущественно на латинице.

Что делать, если Tesseract не справляется с распознаванием образов на документах?

Для задач «извлеки данные из счёта / договора / паспорта» используем LayoutLMv3 или Donut — эти модели понимают layout документа, а не только текст. Интеграция через Hugging Face Transformers, fine‑tuning на 200–500 размеченных документах. Типичный pipeline:

1. Preprocessing: deskew, denoising, binarization через OpenCV.
2. Обнаружение текстовых блоков: PaddleOCR detection или CRAFT.
3. Распознавание: PaddleOCR recognition или TrOCR.
4. Post‑processing: нормализация, валидация через regex или LLM для структурированных полей.

Для документов с фиксированной структурой template matching + OCR точечно по координатам зачастую надёжнее end‑to‑end решения.

Face Recognition: идентификация и верификация

Face recognition = detection + alignment + embedding + matching. Каждый этап важен.

Detection: RetinaFace или InsightFace для точной локализации лица и ключевых точек. MTCNN — более старое, но надёжное решение. Embedding: ArcFace (InsightFace) — state‑of‑the‑art для face recognition embeddings. Модели iresnet50/iresnet100 предобучены на MS1MV3 (5M идентичностей). Эмбеддинг‑вектор 512 float32, сравнение по cosine similarity. Threshold tuning: порог решения — критический параметр. При threshold 0.6 типичный FPR на LFW benchmark — 0.001, TPR — 0.985. В production threshold нужно калибровать под реальный distribution: люди в масках, с изменившейся внешностью, в разных условиях освещения. Liveness detection обязателен: MiniFASNet — lightweight модель на CPU, FaceX‑Zoo содержит несколько предобученных liveness‑детекторов.

Видеоаналитика

Видео — последовательность кадров плюс временное измерение. Наивный подход — детектировать на каждом кадре — дорого.

Трекинг: ByteTrack и BoT‑SORT — стандарт для multi‑object tracking. Работают поверх любого детектора, добавляют persistent ID объектам между кадрами — это даёт подсчёт объектов, треки движения, velocity.

Оптимизация: не нужно обрабатывать каждый кадр. Для статичных сцен детекция на каждом 5–10 кадре, между ними — трекер. Для детекции событий (человек вошёл в зону) background subtraction (OpenCV MOG2) как lightweight pre‑filter перед нейросетевой детекцией. Action Recognition: SlowFast, VideoMAE для классификации действий. Тяжёлые модели — для production используем ONNX export + TensorRT либо оффлайн обработку.

Как измерить качество модели распознавания образов в продакшене?

Мониторинг качества — ключевой элемент MLOps. Отслеживаем:

• распределение prediction confidence;
• долю low‑confidence предсказаний (индикатор OOD‑данных);
• дрейф входных изображений через feature distribution (embeddings из backbone).

Падение средней confidence с 0.87 до 0.71 за неделю — ранний сигнал о distribution shift. NVIDIA Triton Inference Server рекомендует отслеживать эти метрики через Prometheus. Наши сертифицированные инженеры настраивают мониторинг и гарантируют SLA по качеству инференса.

Деплой CV‑моделей

Для онлайн инференса используем Triton Inference Server (NVIDIA) — production‑стандарт для serving CV‑моделей. Поддерживает TensorRT, ONNX, PyTorch, dynamic batching, multiple instances. REST и gRPC API. Гарантируем стабильную работу под нагрузкой.

Edge deployment: ONNX Runtime на ARM/x86 CPU. TensorFlow Lite для мобильных устройств. OpenVINO для Intel CPU/GPU/VPU — даёт 2–3× прирост скорости на Intel железе по сравнению с ONNX Runtime. После деплоя передаём модель с документацией и обучаем персонал.

Что входит в работу

Сроки и стоимость

Прототип детектора на существующих данных — 1–2 недели. Production‑система с оптимизацией под целевое железо — 4–8 недель. Полный цикл включая разметку данных (1000–5000 изображений) — 2–4 месяца. Стоимость рассчитывается индивидуально под каждую задачу. Примерная экономия от внедрения системы контроля качества — до 1 млн рублей в месяц на одном производственном участке.

Мы на рынке более 5 лет, реализовали 60+ проектов по компьютерному зрению. Оценим ваш проект под ключ — закажите консультацию, чтобы получить расчёт и техническое предложение.