AI-система для робототехніки

AI-система для робототехніки

Промисловий маніпулятор із класичним trajectory planning виконує одну задачу за 0.3 секунди відтворено. Та ж рука з ML-системою perception + grasp planning бере довільний незнайомий об'єкт із біну з 91% success rate при першій спробі – це якісний стрибок. Розрив між програмованою автоматикою та AI-робототехнікою – саме тут.

Perception: що бачить робот

6DoF Pose Estimation

Для захоплення об'єкта маніпулятор повинен знати точну позицію та орієнтацію (6 ступенів свободи). RGB-D камера (Intel RealSense D435, Azure Kinect) + RGBD-датасет конкретних деталей. Методи:

• FoundationPose (NVIDIA): універсальна модель, працює з 1 референсного зображення або CAD-моделі без донавчання. Accuracy: <5 мм translation, <5° rotation на YCBv dataset. - Навчання з нуля: Dope (Deep Object Pose Estimation) або GDR-Net — точніше на специфічних деталях, що вимагає синтетичного датасету з domain randomization (BlenderProc).

Domain gap – головна проблема: модель навчена на синтетиці, деплоїться у реальне освітлення заводу. Domain randomization (випадкові текстури, освітлення, фони) + невеликий real-world fine-tuning вирішує проблему за 200–500 реальних анотованих кадрів.

Bin Picking з 3D point cloud

Захоплення деталей із невпорядкованого біну: Open3D + PointNet++ для сегментації окремих деталей у point cloud. Граспінг: GraspNet-1Billion модель або Contact-GraspNet передбачає 6DoF grasp poses з antipodal constraint перевіркою через колізійний граф. На сталі (блискучі поверхні, sensor noise) - додаткове очищення point cloud: Statistical Outlier Removal + Normal estimation.

Motion Planning з ML

Learning from Demonstration (LfD)

Оператор один раз демонструє завдання, керуючи рукою маніпулятора вручну (kinesthetic teaching) або через інтерфейс VR. Алгоритм записує траєкторії, узагальнює через Gaussian Mixture Model (GMM) + Gaussian Mixture Regression (GMR) або Imitation Learning (BC, GAIL). Відтворення з адаптацією до варіацій: не потрібно перепрограмувати за невеликих змін позиції деталі.

Reinforcement Learning для складних маніпуляцій

Завдання, де trajectory planning не працює: вставка роз'єму (peg-in-hole, допуск 0.1 мм), загвинчування без зриву різьблення, перекладення крихких об'єктів. Sim-to-Real: навчання в Isaac Gym (NVIDIA) або MuJoCo з randomized friction, mass, geometry. Перетворюється на реального робота через домашню randomization + невеликий реальний світ fine-tuning.

На задачі індустріального connector insertion: SAC (Soft Actor-Critic) досягає 95% success rate після 2M симуляційних кроків + 2 годин real-world донавчання.

Force/Torque контроль

Силомоментний сенсор (ATI Mini45, Robotiq FT300) + ML дозволяє виявляти аномалії складання в реальному часі: якщо зусилля вставки виходить за межі expected profile → деталь неправильно орієнтована → стоп перед пошкодженням.

LSTM на time series сигналів Fx, Fy, Fz, Tx, Ty, Tz: класифікація "нормальна вставка" / "перекіс" / "невірна деталь". Recall аномалій: 0.97, latency: 8 мс - встигає зупинити рух до пошкодження.

Mobile Robotics та AMR

SLAM та навігація

AMR (Autonomous Mobile Robot): LiDAR SLAM (Cartographer, RTAB-Map) для побудови картки + локалізації. ML-компонент: передбачення динамічних перешкод (люди, навантажувачі) через object detection (YOLOv8 на fisheye камерах) + velocity estimation.

Fleet Management

Парк із 30 AMR: оптимізація task assignment. Multi-agent RL (MAPPO - Multi-Agent PPO) або MILP для диспетчеризації. Черезвихід системи з RL vs. rule-based: +14% за тієї ж інфраструктури.

Стек та інтеграції

Термін розробки: 4–8 місяців для perception + grasp planning на конкретній деталі/завданні. Повна система з RL-навченими маніпуляціями та fleet management: 10–18 місяців.