AI для доставочных роботов: навигация, телеоперация, fleet-мониторинг
Представьте: робот-доставщик застревает у бордюра, не видит лужу или теряет GPS под мостом. В неструктурированной городской среде стандартные алгоритмы пасуют. Мы решаем эту задачу с помощью стека из computer vision, reinforcement learning и телеоперации. Наш опыт — 5+ лет в AI для робототехники, более 30 внедрённых проектов. Основные вызовы — неровности рельефа, динамические препятствия, перепады освещения. Мы разработали систему, которая обрабатывает 30 кадров в секунду с несколькими источниками данных, обеспечивая точность локализации до 10 см. В отличие от традиционных подходов, наш RL-планировщик снижает количество ручных вмешательств на 90% по сравнению с правилами, а внедрение AI уменьшает затраты на доставку до 40%.
Успех проекта зависит от точного определения ODD и качества данных. Мы помогаем собрать и разметить датасеты для обучения моделей, а также проводим симуляционное тестирование до выхода на real-среду. Оценим ваш проект и предложим решение под ключ.
Какие технические проблемы мы решаем
Городские тротуары полны edge cases: неровности, пандусы, перекрёстки, непредсказуемые пешеходы. Доставочный робот должен:
- Детектировать объекты с задержкой менее 33 мс (30 FPS).
- Различать типы поверхностей (асфальт, газон, лужа, снег).
- Планировать траекторию в реальном времени с учётом динамических препятствий.
- Обрабатывать временные препятствия (строительные заборы, толпы).
Стандартные SLAM-алгоритмы дают ошибки при отсутствии текстуры. Мы применяем Visual SLAM с IMU-фузией и SLAM для точности до 10 см.
Почему AI-система критична для роботов-доставщиков?
Без AI робот не сможет адаптироваться к изменениям среды. Мы используем комбинацию детекции, сегментации и depth estimation. Сенсорный пакет включает:
- 9–12 камер для 360° обзора.
- 2–4 LiDAR (Livox Mid-360 или solid-state).
- Ультразвуковые датчики для ближней зоны.
- RTK GPS + Visual SLAM.
Детекция построена на YOLOv8 и RT-DETR, сегментация — SegFormer. Всё оптимизировано для NVIDIA Jetson Orin NX через TensorRT, достигая 30+ FPS на каждый поток.
Как мы обеспечиваем 95%+ success rate в городской среде?
Глобальный маршрут строится по HD-карте тротуаров (OSM + собственная разметка). Граф сегментов содержит атрибуты: ширина, тип покрытия, наличие бордюра, освещённость.
Локальный планировщик использует RL (TD3) с непрерывным пространством скоростей. Вход — BEV 64×64 м с семантическими слоями. Агент обучается в Isaac Sim (NVIDIA Omniverse) с фотореалистичными городскими сценами за 10-секундный горизонт.
Для нестандартных ситуаций — OOD детектор с safe-stop и запросом оператора.
| Ситуация | Стратегия |
|---|---|
| Бордюр без пандуса | Объезд по HD-карте / поиск пандуса |
| Лужа / снег | Снижение скорости, объезд |
| Строительный забор | Перепланирование глобального маршрута |
| Толпа пешеходов | Остановка, ожидание прохода |
| Собака без поводка | Мягкая остановка, объезд |
Детали сенсорного пакета и модели
- Камеры: fisheye, 1–2 Мпикс, частота 30 FPS. - LiDAR: Livox Mid-360, 360° x 90° FOV. - IMU: инерциальный модуль с 6 DOF. - Вычислитель: NVIDIA Jetson Orin NX, 100 TOPS. - Модели: YOLOv8l, SegFormer-B2, UniDepth.Сравнение подходов: LiDAR vs камеры
| Параметр | LiDAR | Камеры | Комбинация |
|---|---|---|---|
| Дальность | до 200 м | до 100 м (стерео) | 200+ м |
| Точность в темноте | 100% | низкая | высокая |
| Семантическая информация | нет | да | да |
| Стоимость | высокая | низкая | средняя |
YOLOv8 детекция показывает mAP 0.55 на Cityscapes, при этом segmentation даёт IoU 0.78.
Human-in-the-loop телеоперация
Полная автономия достижима при чётко определённом ODD. На старте часть edge cases решается телеоператорами:
- Видеопоток с 4 камер (WebRTC, < 200 мс латентность).
- Управление через геймпад.
- Все сессии логируются для DAgger-обучения.
- Динамика вмешательства: первый месяц 15–25%, через 6 месяцев 1–3%.
Fleet management и мониторинг
Centralized Fleet Controller:
- Диспетчеризация заказов по ближайшему свободному роботу с учётом заряда.
- Предиктивная зарядка с буфером 20%.
- Kafka + TimescaleDB для real-time мониторинга.
Метрики: Mission Success Rate >95%, Average Delivery Time deviation <10%, Intervention Rate, MTBF >200 часов.
Процесс внедрения
- Аналитика: аудит среды, выделение ODD, сбор данных (3–4 недели).
- Проектирование: архитектура сенсоров, выбор моделей, pipeline (2–3 недели).
- Реализация: калибровка, обучение моделей, интеграция (8–12 недель).
- Тестирование: симуляция, реальные тесты, итерации (4–6 недель).
- Деплой: установка на флот, настройка fleet management (2–3 недели).
Сроки: MVP с базовой навигацией по тротуару — 4–5 месяцев. Полноценная система с телеоперацией и fleet management — 9–12 месяцев. Стоимость рассчитывается индивидуально. Закажите анализ ваших задач — мы подберём оптимальную конфигурацию.
Что входит в работу
- Документация: описание архитектуры, инструкции по эксплуатации.
- Обучение команды заказчика (2–3 дня).
- Доступ к дашборду мониторинга.
- Поддержка на этапе эксплуатации (SLA).
Мы гарантируем Mission Success Rate >95% после стабилизации. Получите консультацию по внедрению AI-системы для вашего проекта. Свяжитесь с нами, чтобы обсудить детали.