Разработка AI-системы автономной навигации дронов без GPS

Полет в туннеле, между зданиями, внутри склада или под глушилками — стандартная ситуация, когда GPS ловит 2 спутника или ноль. Дрон без внешнего позиционирования уходит в дрифт и через 10 секунд врезается в стену. Особенно критично для дорогостоящих коммерческих аппаратов. Мы решаем такие задачи на каждом втором проекте: от инспекции мостов до логистики на складах 10000 м². Разрабатываем системы автономной навигации под ключ — от выбора сенсоров до отказоустойчивого софта. Оценим вашу задачу за 3 рабочих дня.

Разработка AI-системы автономной навигации дронов: почему без GPS не обойтись?

VIO — это слияние данных с камеры и IMU. Камера даёт визуальные ориентиры, IMU — угловые скорости и ускорения. Алгоритм (например, VINS-Mono или ORB-SLAM3) оптимизирует совместную ошибку. На практике это даёт точность 5–15 см в горизонтальной плоскости при хорошем освещении. Код ниже — упрощённая иллюстрация цикла: детектируем ORB-фичи, сопоставляем, восстанавливаем движение через essential matrix и интегрируем с IMU.

import numpy as np
import cv2
from scipy.spatial.transform import Rotation

class VisualInertialOdometry:
    """
    VINS-Mono / ORB-SLAM3 логика — упрощённо.
    На практике используем готовые библиотеки с ROS2 интеграцией.
    """
    def __init__(self, camera_matrix: np.ndarray,
                 imu_noise: dict):
        self.K = camera_matrix
        self.orb = cv2.ORB_create(nfeatures=500)
        self.matcher = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)

        self.prev_frame = None
        self.prev_kp = None
        self.prev_desc = None

        # Состояние: позиция + ориентация
        self.position = np.zeros(3)
        self.rotation = np.eye(3)

        self.imu_noise = imu_noise

    def update(self, frame: np.ndarray,
               imu_data: dict) -> dict:
        """Обновление оценки позиции по кадру + IMU"""
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        kp, desc = self.orb.detectAndCompute(gray, None)

        if self.prev_frame is not None and desc is not None:
            matches = self.matcher.match(self.prev_desc, desc)
            matches = sorted(matches, key=lambda x: x.distance)[:100]

            if len(matches) > 20:
                pts1 = np.float32([self.prev_kp[m.queryIdx].pt
                                    for m in matches])
                pts2 = np.float32([kp[m.trainIdx].pt for m in matches])

                E, mask = cv2.findEssentialMat(pts1, pts2, self.K,
                                                method=cv2.RANSAC,
                                                prob=0.999, threshold=1.0)
                if E is not None:
                    _, R, t, _ = cv2.recoverPose(E, pts1, pts2, self.K)
                    # Интеграция движения
                    self.position += self.rotation @ t.flatten()
                    self.rotation = R @ self.rotation

        self.prev_frame = gray
        self.prev_kp = kp
        self.prev_desc = desc if desc is not None else self.prev_desc

        return {
            'position': self.position.copy(),
            'rotation': self.rotation.copy(),
            'tracked_features': len(kp) if kp else 0
        }

Как обходить препятствия без лидара?

Для indoor-полётов стереокамера (Intel RealSense D435) даёт плотную карту глубины с частотой 30 кадров/с и потребляет всего 2 Вт. LiDAR (например, Velodyne Puck) даёт точнее, но стоит $4000+ и весит 400 г — не каждый дрон поднимет. Наш стек использует стерео как базовый сенсор и опционально добавляет ToF-камеру для outdoor. Алгоритм ниже делит поле зрения на 5 секторов и вычисляет минимальное расстояние в каждом — этого достаточно для collision avoidance со скоростью до 2 м/с.

class ObstacleAvoidance:
    def __init__(self, depth_camera, safety_distance: float = 1.5):
        self.depth_cam = depth_camera
        self.safety_dist = safety_distance  # метры
        self.fov_h = 87  # градусов (RealSense D435)
        self.sectors = 5  # делим поле зрения на 5 секторов

    def compute_clear_directions(self,
                                  depth_frame: np.ndarray) -> dict:
        """Находим свободные направления полёта"""
        h, w = depth_frame.shape
        sector_width = w // self.sectors
        clearance = {}

        for i in range(self.sectors):
            sector = depth_frame[:, i*sector_width:(i+1)*sector_width]
            # Игнорируем нулевые значения (нет данных)
            valid = sector[sector > 0]
            if len(valid) == 0:
                clearance[i] = float('inf')
                continue

            # P10 — ближняя граница препятствия в секторе
            min_dist = float(np.percentile(valid, 10)) / 1000.0  # мм -> м

            clearance[i] = min_dist

        # Направление с максимальным clearance
        best_sector = max(clearance, key=clearance.get)
        angle = (best_sector - self.sectors // 2) * (self.fov_h / self.sectors)

        return {
            'clearance_by_sector': clearance,
            'best_direction_angle': angle,
            'is_path_clear': clearance[self.sectors//2] > self.safety_dist
        }

Планирование маршрута: 3D Occupancy Grid vs. RRT*

Occupancy grid — детерминированный метод: каждую ячейку (0.2 м³) помечаем как свободную или занятую. A* гарантирует кратчайший путь в дискретном пространстве. Для динамических препятствий лучше подходит RRT*, но он даёт неоптимальное по длине решение. Мы комбинируем: на этапе построения карты — occupancy grid, а для перепланирования в реальном времени — RRT* с limit на 100 итераций. Код ниже — классический A* на sparse grid.

import heapq

class OccupancyGridPlanner:
    def __init__(self, resolution: float = 0.2):
        self.resolution = resolution  # метров на ячейку
        self.grid = {}  # 3D sparse grid: (ix, iy, iz) -> occupancy

    def update_from_depth(self, depth_frame: np.ndarray,
                           camera_pose: np.ndarray):
        """Обновляем карту препятствий"""
        # Конвертация depth в point cloud
        points = self._depth_to_pointcloud(depth_frame)
        # Трансформация в мировые координаты
        points_world = (camera_pose[:3, :3] @ points.T).T + camera_pose[:3, 3]

        for pt in points_world:
            ix, iy, iz = (int(pt[0] / self.resolution),
                           int(pt[1] / self.resolution),
                           int(pt[2] / self.resolution))
            self.grid[(ix, iy, iz)] = 1  # occupied

    def astar_3d(self, start: tuple, goal: tuple) -> list:
        """A* в 3D occupancy grid"""
        def heuristic(a, b):
            return np.sqrt(sum((a[i]-b[i])**2 for i in range(3)))

        heap = [(0, start)]
        came_from = {start: None}
        cost = {start: 0}

        while heap:
            _, current = heapq.heappop(heap)
            if current == goal:
                break

            for dx, dy, dz in [(1,0,0),(-1,0,0),(0,1,0),
                                 (0,-1,0),(0,0,1),(0,0,-1)]:
                neighbor = (current[0]+dx, current[1]+dy, current[2]+dz)
                if self.grid.get(neighbor, 0) == 1:
                    continue  # препятствие

                new_cost = cost[current] + 1
                if neighbor not in cost or new_cost < cost[neighbor]:
                    cost[neighbor] = new_cost
                    priority = new_cost + heuristic(neighbor, goal)
                    heapq.heappush(heap, (priority, neighbor))
                    came_from[neighbor] = current

        # Восстанавливаем путь
        path = []
        node = goal
        while node is not None:
            path.append(node)
            node = came_from.get(node)
        return list(reversed(path))

Кейс из нашей практики: автономная инспекция склада 8000 м²

Наш клиент — логистический оператор, которому требовалось ежемесячно проверять состояние стеллажей на 4 этажах. Высота стеллажей до 12 м, узкие проходы 2 м, полное отсутствие GPS. Мы разработали дрон на базе DJI F450 с кастомным полётным контроллером, оснащённым Intel RealSense D435i (глубина + IMU). Стек: ROS2 Humble + PX4 Autopilot + форк ORB-SLAM3 с EKF-фильтром для слияния с барометром.

Результат: точность локализации ±8 см по горизонтали, ±5 см по вертикали. Скорость облёта — 0.5 м/с, один ряд стеллажей (50 м) проходит за 110 секунд. Система работает без сбоев уже более года — 50+ миссий.

Процесс внедрения

1. Анализ сценария: замеры освещения, геометрии, материалов (металл/бетон — разная отражательная способность). Выбор сенсоров.
2. Прототипирование VIO: калибровка камеры+IMU, подбор параметров ORB (количество фич, threshold).
3. Обход препятствий: настройка safety_distance, интеграция depth в полётный контроллер через MAVSDK.
4. Планировщик: выбор между occupancy grid и RRT* под динамику задачи.
5. Тесты: полёт в симуляторе (Gazebo + PX4 SITL), затем реальные вылеты с дублирующим пультом.

Сроки и ориентировочная стоимость

Стоимость рассчитывается индивидуально — зависит от сложности сценария и количества итераций тестов. Окупаемость проекта обычно наступает в течение 6 месяцев за счёт снижения затрат на ручной контроль. Получите консультацию — оценим вашу задачу за 3 дня.

Что вы получаете

• Исходный код VIO-модуля с комментариями (Python/C++).
• Docker-образ с ROS2-воркспейсом для воспроизводимости.
• Калибровочные файлы камеры и IMU.
• Интеграция с полётным контроллером (PX4/ArduPilot).
• Документация по настройке и эксплуатации.
• 2 месяца поддержки после внедрения.

Почему выбирают нашу разработку?

Мы занимаемся AI-навигацией для дронов более 5 лет: 20+ реализованных проектов для складов, шахт, мостов и нефтевышек. Используем только open-source стеки (ORB-SLAM3, ROS2, PX4) — никакого vendor lock-in. Все решения тестируем в симуляторе на 100+ сценариях перед первым полётом. Свяжитесь с нами — расскажем, какие сенсоры и алгоритмы подойдут именно под вашу задачу.

Как distribution shift убивает метрики CV-модели в промышленности

На производстве ставят камеру, контролируют качество продукции. Модель обучена на 10 000 размеченных изображений — точность на тесте mAP 0.84. Запускают в продакшен — и в первую же неделю пропускают 30 % дефектов. Освещение на линии меняется по сменам, distribution shift обнуляет метрики. Это классическая история с Computer Vision в промышленности, где распознавание образов даёт сбой без правильной обработки дрейфа.

Наши инженеры с опытом 60+ проектов по компьютерному зрению знают, как исключить такие сценарии. Гарантируем стабильную работу модели под реальными условиями.

Детекция объектов: YOLO, RT‑DETR и всё что между ними

YOLO — стандарт для real‑time детекции. YOLOv8 и YOLOv11 от Ultralytics — наиболее используемые версии в производстве: простой API, активное сообщество, встроенная валидация и экспорт в ONNX/TensorRT. Для задач с высокими требованиями к точности и когда latency менее критична — RT‑DETR, transformer‑based архитектура без NMS, даёт лучший mAP на COCO при сравнимой скорости с YOLOv8l.

Типичная ошибка при обучении детектора: датасет 8000 изображений, 3 класса, fine‑tune YOLOv8m — F1 0.73 на валидации. Смотрим confusion matrix — один класс почти никогда не детектируется. Причина: дисбаланс 1:23. Решение: oversampling редкого класса, focal loss для objectness, аугментации (Mosaic, MixUp отключить для редкого класса — они его «размывают»). Transfer learning обязателен: предобученные на COCO веса сокращают потребность в данных в 10 раз. Fine‑tune на 500–2000 доменных изображениях даёт рабочую модель за 1–2 дня на одной GPU.

Для edge deployment: экспорт в ONNX → TensorRT engine. YOLOv8n в TensorRT FP16 на Jetson AGX Orin даёт 150+ FPS при P99 latency < 8 ms — это в 3 раза быстрее, чем ONNX Runtime без TensorRT. На сервере A10G: 700+ FPS для YOLOv8n в TensorRT INT8.

Как fine‑tuning YOLO помогает в распознавании образов?

Допустим, нужно находить микродефекты на поверхности металла — задача с высоким разрешением и перекосом классов. Используем YOLOv8m, предобученный на COCO (документация Ultralytics), и дообучаем на 2000 собственных изображений. Применяем аугментации Mosaic, MixUp, random perspective. После 200 эпох mAP 0.5 достигает 0.93. Ключевые приёмы:

• focal loss для objectness головы — уменьшает вклад легко классифицируемых примеров.
• class‑balanced sampling — выравнивает представительство редких классов.
• Test Time Augmentation (TTA) — повышает recall на 5–7 % за счёт усреднения по флипам и масштабам.

Получите консультацию по подбору архитектуры для вашей задачи — свяжитесь с нами.

Сегментация: SAM, Mask R‑CNN и instance segmentation

SAM (Segment Anything Model) от Meta изменил подход к сегментации. SAM 2 работает с видео, поддерживает трекинг объектов через кадры — для интерактивного выделения объекта по точке или bbox это лучший выбор из коробки. Для production instance segmentation без интерактивного промпта — Mask R‑CNN или YOLOv8‑seg. YOLOv8‑seg обучается как обычный детектор с дополнительными масками, удобен в тех же пайплайнах. Семантическая сегментация (каждый пиксель — класс) — SegFormer, DeepLabV3+. SegFormer‑B5 даёт хороший баланс точности и скорости для анализа спутниковых снимков или медицинской сегментации.

Кейс: сегментация клеток на микроскопических изображениях. Датасет 400 изображений с ручной разметкой. Обучение Mask R‑CNN на ResNet‑50 backbone дало IoU 0.61 — плохо. Проблема: объекты (клетки) перекрываются, стандартный NMS убивает перекрывающиеся предсказания. Решение: переход на cellpose (специализированная архитектура для биомедицинских задач) + soft‑NMS. IoU вырос до 0.79.

OCR: когда Tesseract не справляется

Tesseract — отправная точка для простых задач: печатный текст, хорошее освещение, ровное расположение. Как только появляются рукописные элементы, нестандартные шрифты, перспективные искажения или многоколоночный макет — Tesseract деградирует быстро.

PaddleOCR — production‑grade решение: обнаружение текстовых блоков + распознавание + структурный анализ. Работает из коробки для 80+ языков, включая русский. Поддерживает таблицы и документы со сложной структурой. Wikipedia: Оптическое распознавание символов. TrOCR (Microsoft) — трансформерный OCR с сильными результатами на рукописном тексте. Для русского рукописного текста нужен fine‑tuning: базовая модель обучена преимущественно на латинице.

Что делать, если Tesseract не справляется с распознаванием образов на документах?

Для задач «извлеки данные из счёта / договора / паспорта» используем LayoutLMv3 или Donut — эти модели понимают layout документа, а не только текст. Интеграция через Hugging Face Transformers, fine‑tuning на 200–500 размеченных документах. Типичный pipeline:

1. Preprocessing: deskew, denoising, binarization через OpenCV.
2. Обнаружение текстовых блоков: PaddleOCR detection или CRAFT.
3. Распознавание: PaddleOCR recognition или TrOCR.
4. Post‑processing: нормализация, валидация через regex или LLM для структурированных полей.

Для документов с фиксированной структурой template matching + OCR точечно по координатам зачастую надёжнее end‑to‑end решения.

Face Recognition: идентификация и верификация

Face recognition = detection + alignment + embedding + matching. Каждый этап важен.

Detection: RetinaFace или InsightFace для точной локализации лица и ключевых точек. MTCNN — более старое, но надёжное решение. Embedding: ArcFace (InsightFace) — state‑of‑the‑art для face recognition embeddings. Модели iresnet50/iresnet100 предобучены на MS1MV3 (5M идентичностей). Эмбеддинг‑вектор 512 float32, сравнение по cosine similarity. Threshold tuning: порог решения — критический параметр. При threshold 0.6 типичный FPR на LFW benchmark — 0.001, TPR — 0.985. В production threshold нужно калибровать под реальный distribution: люди в масках, с изменившейся внешностью, в разных условиях освещения. Liveness detection обязателен: MiniFASNet — lightweight модель на CPU, FaceX‑Zoo содержит несколько предобученных liveness‑детекторов.

Видеоаналитика

Видео — последовательность кадров плюс временное измерение. Наивный подход — детектировать на каждом кадре — дорого.

Трекинг: ByteTrack и BoT‑SORT — стандарт для multi‑object tracking. Работают поверх любого детектора, добавляют persistent ID объектам между кадрами — это даёт подсчёт объектов, треки движения, velocity.

Оптимизация: не нужно обрабатывать каждый кадр. Для статичных сцен детекция на каждом 5–10 кадре, между ними — трекер. Для детекции событий (человек вошёл в зону) background subtraction (OpenCV MOG2) как lightweight pre‑filter перед нейросетевой детекцией. Action Recognition: SlowFast, VideoMAE для классификации действий. Тяжёлые модели — для production используем ONNX export + TensorRT либо оффлайн обработку.

Как измерить качество модели распознавания образов в продакшене?

Мониторинг качества — ключевой элемент MLOps. Отслеживаем:

• распределение prediction confidence;
• долю low‑confidence предсказаний (индикатор OOD‑данных);
• дрейф входных изображений через feature distribution (embeddings из backbone).

Падение средней confidence с 0.87 до 0.71 за неделю — ранний сигнал о distribution shift. NVIDIA Triton Inference Server рекомендует отслеживать эти метрики через Prometheus. Наши сертифицированные инженеры настраивают мониторинг и гарантируют SLA по качеству инференса.

Деплой CV‑моделей

Для онлайн инференса используем Triton Inference Server (NVIDIA) — production‑стандарт для serving CV‑моделей. Поддерживает TensorRT, ONNX, PyTorch, dynamic batching, multiple instances. REST и gRPC API. Гарантируем стабильную работу под нагрузкой.

Edge deployment: ONNX Runtime на ARM/x86 CPU. TensorFlow Lite для мобильных устройств. OpenVINO для Intel CPU/GPU/VPU — даёт 2–3× прирост скорости на Intel железе по сравнению с ONNX Runtime. После деплоя передаём модель с документацией и обучаем персонал.

Что входит в работу

Сроки и стоимость

Прототип детектора на существующих данных — 1–2 недели. Production‑система с оптимизацией под целевое железо — 4–8 недель. Полный цикл включая разметку данных (1000–5000 изображений) — 2–4 месяца. Стоимость рассчитывается индивидуально под каждую задачу. Примерная экономия от внедрения системы контроля качества — до 1 млн рублей в месяц на одном производственном участке.

Мы на рынке более 5 лет, реализовали 60+ проектов по компьютерному зрению. Оценим ваш проект под ключ — закажите консультацию, чтобы получить расчёт и техническое предложение.