AI-анализ аэрофотоснимков: детекция и подсчёт объектов с дронов

AI-анализ аэрофотоснимков с дронов

Инженеры, работающие с аэрофотоснимками, часто сталкиваются с проблемой: стандартные модели computer vision на ортофотопланах дают mAP на 20–30% ниже, чем на наземных данных. Причина — неучёт GSD, отсутствие геопривязки и кросс-масштабный дрейф. Мы решаем это комплексно: от препроцессинга до развёртывания на бортовом NVIDIA Jetson. За 15+ проектов в агро, энергетике и строительстве мы наработали пайплайны, которые гарантируют точность детекции до 90%+ на GSD от 1 до 10 см.

Почему стандартный YOLO не работает на ортофото?

Анализ данных с БПЛА отличается от работы с обычными фотографиями фундаментальными особенностями: большие ортофотопланы (5–20 Гпкс), нестандартный GSD, мультиспектральные и тепловые каналы, необходимость геопривязки результатов в WGS-84 или локальной CRS. Стандартный пайплайн YOLOv8 → inference → результаты здесь не работает без предварительного тайлинга с учётом наземного разрешения. Наша методика включает три ключевых этапа: тайлинг по GSD, sliced inference через SAHI и трансформация координат в GeoJSON.

Тайлинг и геопривязка — ключевой этап

Типичная ошибка: нарезка ортофото в пикселях без учёта GSD. При GSD 2 см тайл 640×640 пикселей = 12.8×12.8 м наземной площади. При GSD 8 см тот же тайл — уже 51×51 м. Модель, обученная на одном масштабе, даст на другом mAP на 15–25% ниже.

import rasterio
from rasterio.windows import Window
from pathlib import Path

def tile_ortho_by_ground_size(
    ortho_path: str,
    tile_ground_m: float = 50.0,
    overlap_ground_m: float = 10.0
) -> list[dict]:
    """
    Нарезка ортофото по наземному размеру тайла.
    Гарантирует постоянный масштаб независимо от GSD.
    """
    with rasterio.open(ortho_path) as src:
        gsd = abs(src.transform.a)          # метров/пиксель
        tile_px = int(tile_ground_m / gsd)
        overlap_px = int(overlap_ground_m / gsd)
        stride = tile_px - overlap_px

        tiles = []
        for row in range(0, src.height - tile_px + 1, stride):
            for col in range(0, src.width - tile_px + 1, stride):
                win = Window(col, row, tile_px, tile_px)
                data = src.read(window=win)          # (C, H, W)
                bounds = rasterio.windows.bounds(win, src.transform)
                tiles.append({
                    'data': data,
                    'bounds': bounds,
                    'gsd_m': gsd,
                    'window': win
                })
    return tiles

Перекрытие overlap_ground_m=10 критично: объекты на границах тайлов детектируются в обоих, затем NMS по IoU убирает дубли. Без перекрытия теряется ~12% объектов на стыках. Мы используем перекрытие 20% как стандарт — это даёт наилучший баланс между полнотой и вычислительной нагрузкой.

SAHI для мелких объектов — сравнение с наивным подходом

При детекции людей или машин на ортофото GSD 3–5 см объект занимает 30–80 пикселей — значительно меньше рецептивного поля YOLO, оптимизированного под 640px. YOLOv8 с SAHI на 25–35% эффективнее полномасштабного inference при детекции мелких объектов. SAHI решает это нарезкой с перекрытием и NMS по всем предсказаниям:

from sahi import AutoDetectionModel
from sahi.predict import get_sliced_prediction

model = AutoDetectionModel.from_pretrained(
    model_type='yolov8',
    model_path='drone_people_v2.pt',
    confidence_threshold=0.35,
    device='cuda:0'
)

result = get_sliced_prediction(
    image=tile_array,           # np.ndarray (H, W, 3)
    detection_model=model,
    slice_height=640,
    slice_width=640,
    overlap_height_ratio=0.2,
    overlap_width_ratio=0.2
)
# result.object_prediction_list → координаты в пикселях тайла

На датасете подсчёта людей на стройплощадке (5000 аннотированных снимков, GSD 4 см): без SAHI [email protected] = 0.61, с SAHI — 0.84. Разница принципиальная.

Как мы обрабатываем мультиспектральные и тепловые снимки?

Для мультиспектральных данных (Micasense, Parrot Sequoia) мы применяем индексные преобразования (NDVI, NDRE) и подаём их как дополнительные каналы в модель. Тепловой канал (FLIR) требует отдельного пайплайна:

import numpy as np

def detect_pv_hotspots(
    thermal_kelvin: np.ndarray,    # (H, W), значения в 0.01K
    panel_mask: np.ndarray,        # бинарная маска панелей
    delta_threshold: float = 10.0  # °C выше медианы панели
) -> list:
    """
    Hotspot detection на солнечных панелях.
    IEC 62446-3: дефект при ΔT > 10°C от референса.
    """
    temp_celsius = thermal_kelvin * 0.01 - 273.15
    panel_temps = temp_celsius[panel_mask > 0]
    reference_temp = float(np.median(panel_temps))

    hot_mask = (
        (temp_celsius > reference_temp + delta_threshold) &
        (panel_mask > 0)
    ).astype(np.uint8)

    import cv2
    contours, _ = cv2.findContours(
        hot_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
    )
    hotspots = []
    for c in contours:
        x, y, w, h = cv2.boundingRect(c)
        roi = temp_celsius[y:y+h, x:x+w]
        delta = float(roi.max() - reference_temp)
        hotspots.append({
            'bbox': [x, y, x+w, y+h],
            'max_temp_c': round(float(roi.max()), 1),
            'delta_t':    round(delta, 1),
            'severity':   'critical' if delta > 25 else 'warning'
        })
    return sorted(hotspots, key=lambda h: h['delta_t'], reverse=True)

На реальном проекте инспекции СЭС (142 панели, 3 полёта) система выявила 17 дефектных панелей с ΔT > 15°C, которые пропустила ручная визуальная проверка. ROI окупился за один сезон. Мы гарантируем точность не ниже 95% recall для hot-spot детекции.

Трансформация координат и GeoJSON-вывод

Результаты анализа должны быть в геодезических координатах — иначе это просто картинки, не интегрируемые в ГИС-системы.

import pyproj
from shapely.geometry import box, mapping
import json

def detections_to_geojson(
    detections: list,
    tile_bounds: tuple,           # (left, bottom, right, top) в CRS
    tile_px_size: tuple,          # (width, height) в пикселях
    src_crs: str = 'EPSG:32637'   # UTM зона для проекта
) -> dict:
    transformer = pyproj.Transformer.from_crs(
        src_crs, 'EPSG:4326', always_xy=True
    )
    left, bottom, right, top = tile_bounds
    px_w, px_h = tile_px_size
    scale_x = (right - left) / px_w
    scale_y = (top - bottom) / px_h

    features = []
    for det in detections:
        x1, y1, x2, y2 = det['bbox']
        # Пиксели → проекционные координаты
        geo_left   = left + x1 * scale_x
        geo_right  = left + x2 * scale_x
        geo_top    = top  - y1 * scale_y
        geo_bottom = top  - y2 * scale_y
        # Проекция → WGS-84
        lon1, lat1 = transformer.transform(geo_left, geo_top)
        lon2, lat2 = transformer.transform(geo_right, geo_bottom)

        features.append({
            'type': 'Feature',
            'geometry': mapping(box(lon1, lat2, lon2, lat1)),
            'properties': {
                'class': det['class'],
                'confidence': round(det['confidence'], 3),
                'area_m2': round(
                    (x2-x1) * (y2-y1) * det.get('gsd_m', 0.05)**2, 2
                )
            }
        })

    return {'type': 'FeatureCollection', 'features': features}

Этот модуль мы включаем в каждый проект — он генерирует готовые для QGIS или ArcGIS GeoJSON-файлы.

Метрики по типам задач

Что входит в работу

Мы предоставляем:

• Документацию пайплайна (архитектура, инструкция по развёртыванию).
• Обученную модель с логами MLflow и метриками на валидации.
• Исходный код всех модулей (Rasterio, SAHI, трансформация, веб-интерфейс).
• Интеграцию с ГИС-системами через GeoJSON / Shapefile.
• Обучение вашей команды (2–3 дня удалённо или очно).
• Гарантию на модель в течение 6 месяцев (корректировка при дрейфе данных).

Сроки

Закажите разработку AI-системы для ваших БПЛА — мы оценим проект за 2 рабочих дня. Свяжитесь с нами, чтобы обсудить задачу и предоставить примеры снимков.

Как distribution shift убивает метрики CV-модели в промышленности

На производстве ставят камеру, контролируют качество продукции. Модель обучена на 10 000 размеченных изображений — точность на тесте mAP 0.84. Запускают в продакшен — и в первую же неделю пропускают 30 % дефектов. Освещение на линии меняется по сменам, distribution shift обнуляет метрики. Это классическая история с Computer Vision в промышленности, где распознавание образов даёт сбой без правильной обработки дрейфа.

Наши инженеры с опытом 60+ проектов по компьютерному зрению знают, как исключить такие сценарии. Гарантируем стабильную работу модели под реальными условиями.

Детекция объектов: YOLO, RT‑DETR и всё что между ними

YOLO — стандарт для real‑time детекции. YOLOv8 и YOLOv11 от Ultralytics — наиболее используемые версии в производстве: простой API, активное сообщество, встроенная валидация и экспорт в ONNX/TensorRT. Для задач с высокими требованиями к точности и когда latency менее критична — RT‑DETR, transformer‑based архитектура без NMS, даёт лучший mAP на COCO при сравнимой скорости с YOLOv8l.

Типичная ошибка при обучении детектора: датасет 8000 изображений, 3 класса, fine‑tune YOLOv8m — F1 0.73 на валидации. Смотрим confusion matrix — один класс почти никогда не детектируется. Причина: дисбаланс 1:23. Решение: oversampling редкого класса, focal loss для objectness, аугментации (Mosaic, MixUp отключить для редкого класса — они его «размывают»). Transfer learning обязателен: предобученные на COCO веса сокращают потребность в данных в 10 раз. Fine‑tune на 500–2000 доменных изображениях даёт рабочую модель за 1–2 дня на одной GPU.

Для edge deployment: экспорт в ONNX → TensorRT engine. YOLOv8n в TensorRT FP16 на Jetson AGX Orin даёт 150+ FPS при P99 latency < 8 ms — это в 3 раза быстрее, чем ONNX Runtime без TensorRT. На сервере A10G: 700+ FPS для YOLOv8n в TensorRT INT8.

Как fine‑tuning YOLO помогает в распознавании образов?

Допустим, нужно находить микродефекты на поверхности металла — задача с высоким разрешением и перекосом классов. Используем YOLOv8m, предобученный на COCO (документация Ultralytics), и дообучаем на 2000 собственных изображений. Применяем аугментации Mosaic, MixUp, random perspective. После 200 эпох mAP 0.5 достигает 0.93. Ключевые приёмы:

• focal loss для objectness головы — уменьшает вклад легко классифицируемых примеров.
• class‑balanced sampling — выравнивает представительство редких классов.
• Test Time Augmentation (TTA) — повышает recall на 5–7 % за счёт усреднения по флипам и масштабам.

Получите консультацию по подбору архитектуры для вашей задачи — свяжитесь с нами.

Сегментация: SAM, Mask R‑CNN и instance segmentation

SAM (Segment Anything Model) от Meta изменил подход к сегментации. SAM 2 работает с видео, поддерживает трекинг объектов через кадры — для интерактивного выделения объекта по точке или bbox это лучший выбор из коробки. Для production instance segmentation без интерактивного промпта — Mask R‑CNN или YOLOv8‑seg. YOLOv8‑seg обучается как обычный детектор с дополнительными масками, удобен в тех же пайплайнах. Семантическая сегментация (каждый пиксель — класс) — SegFormer, DeepLabV3+. SegFormer‑B5 даёт хороший баланс точности и скорости для анализа спутниковых снимков или медицинской сегментации.

Кейс: сегментация клеток на микроскопических изображениях. Датасет 400 изображений с ручной разметкой. Обучение Mask R‑CNN на ResNet‑50 backbone дало IoU 0.61 — плохо. Проблема: объекты (клетки) перекрываются, стандартный NMS убивает перекрывающиеся предсказания. Решение: переход на cellpose (специализированная архитектура для биомедицинских задач) + soft‑NMS. IoU вырос до 0.79.

OCR: когда Tesseract не справляется

Tesseract — отправная точка для простых задач: печатный текст, хорошее освещение, ровное расположение. Как только появляются рукописные элементы, нестандартные шрифты, перспективные искажения или многоколоночный макет — Tesseract деградирует быстро.

PaddleOCR — production‑grade решение: обнаружение текстовых блоков + распознавание + структурный анализ. Работает из коробки для 80+ языков, включая русский. Поддерживает таблицы и документы со сложной структурой. Wikipedia: Оптическое распознавание символов. TrOCR (Microsoft) — трансформерный OCR с сильными результатами на рукописном тексте. Для русского рукописного текста нужен fine‑tuning: базовая модель обучена преимущественно на латинице.

Что делать, если Tesseract не справляется с распознаванием образов на документах?

Для задач «извлеки данные из счёта / договора / паспорта» используем LayoutLMv3 или Donut — эти модели понимают layout документа, а не только текст. Интеграция через Hugging Face Transformers, fine‑tuning на 200–500 размеченных документах. Типичный pipeline:

1. Preprocessing: deskew, denoising, binarization через OpenCV.
2. Обнаружение текстовых блоков: PaddleOCR detection или CRAFT.
3. Распознавание: PaddleOCR recognition или TrOCR.
4. Post‑processing: нормализация, валидация через regex или LLM для структурированных полей.

Для документов с фиксированной структурой template matching + OCR точечно по координатам зачастую надёжнее end‑to‑end решения.

Face Recognition: идентификация и верификация

Face recognition = detection + alignment + embedding + matching. Каждый этап важен.

Detection: RetinaFace или InsightFace для точной локализации лица и ключевых точек. MTCNN — более старое, но надёжное решение. Embedding: ArcFace (InsightFace) — state‑of‑the‑art для face recognition embeddings. Модели iresnet50/iresnet100 предобучены на MS1MV3 (5M идентичностей). Эмбеддинг‑вектор 512 float32, сравнение по cosine similarity. Threshold tuning: порог решения — критический параметр. При threshold 0.6 типичный FPR на LFW benchmark — 0.001, TPR — 0.985. В production threshold нужно калибровать под реальный distribution: люди в масках, с изменившейся внешностью, в разных условиях освещения. Liveness detection обязателен: MiniFASNet — lightweight модель на CPU, FaceX‑Zoo содержит несколько предобученных liveness‑детекторов.

Видеоаналитика

Видео — последовательность кадров плюс временное измерение. Наивный подход — детектировать на каждом кадре — дорого.

Трекинг: ByteTrack и BoT‑SORT — стандарт для multi‑object tracking. Работают поверх любого детектора, добавляют persistent ID объектам между кадрами — это даёт подсчёт объектов, треки движения, velocity.

Оптимизация: не нужно обрабатывать каждый кадр. Для статичных сцен детекция на каждом 5–10 кадре, между ними — трекер. Для детекции событий (человек вошёл в зону) background subtraction (OpenCV MOG2) как lightweight pre‑filter перед нейросетевой детекцией. Action Recognition: SlowFast, VideoMAE для классификации действий. Тяжёлые модели — для production используем ONNX export + TensorRT либо оффлайн обработку.

Как измерить качество модели распознавания образов в продакшене?

Мониторинг качества — ключевой элемент MLOps. Отслеживаем:

• распределение prediction confidence;
• долю low‑confidence предсказаний (индикатор OOD‑данных);
• дрейф входных изображений через feature distribution (embeddings из backbone).

Падение средней confidence с 0.87 до 0.71 за неделю — ранний сигнал о distribution shift. NVIDIA Triton Inference Server рекомендует отслеживать эти метрики через Prometheus. Наши сертифицированные инженеры настраивают мониторинг и гарантируют SLA по качеству инференса.

Деплой CV‑моделей

Для онлайн инференса используем Triton Inference Server (NVIDIA) — production‑стандарт для serving CV‑моделей. Поддерживает TensorRT, ONNX, PyTorch, dynamic batching, multiple instances. REST и gRPC API. Гарантируем стабильную работу под нагрузкой.

Edge deployment: ONNX Runtime на ARM/x86 CPU. TensorFlow Lite для мобильных устройств. OpenVINO для Intel CPU/GPU/VPU — даёт 2–3× прирост скорости на Intel железе по сравнению с ONNX Runtime. После деплоя передаём модель с документацией и обучаем персонал.

Что входит в работу

Сроки и стоимость

Прототип детектора на существующих данных — 1–2 недели. Production‑система с оптимизацией под целевое железо — 4–8 недель. Полный цикл включая разметку данных (1000–5000 изображений) — 2–4 месяца. Стоимость рассчитывается индивидуально под каждую задачу. Примерная экономия от внедрения системы контроля качества — до 1 млн рублей в месяц на одном производственном участке.

Мы на рынке более 5 лет, реализовали 60+ проектов по компьютерному зрению. Оценим ваш проект под ключ — закажите консультацию, чтобы получить расчёт и техническое предложение.