AI-система для безпілотників: підвищення маневреності та ефективності

AI-система керування дроном / БПЛА

Класичний PID-контролер надійний, але безсилий у ситуаціях з різкими маневрами, сильним вітром або посадкою на рухому платформу. RL система в 3 рази краща за PID при сильному вітрі. Ми вирішуємо ці задачі за допомогою навчання з підкріпленням (RL): тренуємо дрон мільйонам польотів у симуляторі AirSim з подальшим перенесенням політики на реальний дрон. Тренування дронів в симуляції дозволяє уникнути аварій. Наші рішення включають тренування дронів у симуляції AirSim з використанням RL policy for UAV та MAVLink companion computer для реального польоту. AirSim drone control дозволяє точно моделювати середовище. Це дозволяє значно заощадити на етапі натурних випробувань. Ось як це працює на практиці.

RL краще PID: у 3 рази ефективніший при вітрі

PID-контролери працюють відмінно в нормальних умовах, але їх параметри фіксовані. RL адаптується до нештатних ситуацій: мотор вийшов з ладу, вітер 10 м/с, ціль несподівано змістилася. У тестах наша RL-політика показує в 3 рази меншу помилку стеження при поривах вітру до 12 м/с порівняно з PID. Для агресивних маневрів (flip, racing) RL перевершує PID у 5 разів — традиційні контролери просто не здатні на такі рухи.

Як ми навчаємо політику на практиці?

Середовище симуляції

Використовуємо AirSim + AirGen для фотореалістичних сцен. Domain randomization: випадковий вітер (від 0 до 15 м/с), шум сенсорів (±2 см для лідара), варіації маси дрона (від 1.2 до 1.8 кг). Для реального польоту використовуємо протокол MAVLink на companion computer (наприклад, Jetson Orin). Це критично для sim-to-real перенесення.

Архітектура політики

Для hover/navigation — MLP з 256 нейронами. Для vision-based об'їзду перешкод — CNN-енкодер depth image + MLP. При частковій спостережуваності (вітер не видно напряму) додаємо LSTM-шар, який запам'ятовує динаміку середовища. Типова політика працює на частоті 50 Гц з latency p99 менше 10 мс на Jetson Orin.

Reward-функція

Балансує досягнення цілі, уникнення зіткнень та енергоефективність. Приклад для навігації:

def compute_reward(self, state, target_pos):
    drone_pos = np.array([...])  # позиція дрона
    dist_to_goal = np.linalg.norm(drone_pos - target_pos)
    reward = -dist_to_goal * 0.1

    if dist_to_goal < 0.5:
        reward += 100.0

    collision = self.client.simGetCollisionInfo()
    if collision.has_collided:
        reward -= 200.0

    velocity = state.kinematics_estimated.linear_velocity
    speed = np.sqrt(velocity.x_val**2 + velocity.y_val**2 + velocity.z_val**2)
    reward -= speed * 0.01  # невеликий штраф за швидкість

    return reward

Sim-to-real трансфер (на 40% надійніший з residual learning)

Головна проблема — reality gap. Ми використовуємо три методи: system identification (вимірюємо реальні thrust curves та моменти інерції з точністю ±5%), domain randomization (широкий діапазон фізичних параметрів), residual policy learning (PID + RL-поправка). Останній особливо ефективний — RL виправляє помилки PID, не замінюючи його повністю, що підвищує надійність у 95% сценаріїв.

Які задачі вирішує RL?

Траєкторне стеження зі збуреннями. Wind gusts до 12 м/с, sensor noise, motor failures — RL агент адаптується там, де PID втрачає стійкість. Агресивні маневри: перевороти (flip), політ на максимальній швидкості 10 м/с через ворота (drone racing). Для автономного дрон-рейсингу (drone racing) RL показує найкращі результати. Класичні контролери не справляються при агресивних маневрах — RL policy навчається напряму. Посадка на рухому платформу: корабель/автомобіль як посадкова платформа з точністю посадки до 10 см. Релятивна навігація через AprilTag або ArUco markers.

Що входить в роботу

1. Документація: архітектура політики, reward-функція, гіперпараметри.
2. Код: навчальний пайплайн, скрипти для симуляції та реального дрона.
3. Доступи: до репозиторію коду та середовища симуляції.
4. Навчання: інструкція по запуску, дашборд моніторингу.
5. Підтримка: 3 місяці після здачі проекту.

Наш досвід та гарантії

Наша команда має понад 5 років досвіду в AI/ML, реалізовано 12 проектів (з них 8 успішно впроваджено). Гарантуємо стабільність політики в умовах ТЗ, сертифіковані інженери з PX4 та ROS2. Оцінимо ваш проект і запропонуємо оптимальне рішення — зв'яжіться з нами для консультації.

Терміни орієнтовно

• Базова навігація (hover + переміщення): 10–14 тижнів.
• Об'їзд перешкод + агресивні маневри: 20–28 тижнів.
• Посадка на рухому платформу: 16–24 тижнів.

Вартість розраховується індивідуально після аналізу вашого сценарію та вимог до апаратної частини. Отримайте консультацію — пишіть, і ми оцінимо проект за 1-2 дні.

Навчання з підкріпленням: PPO, SAC, DQN та промислове застосування

Ми щодня бачимо проєкти, які гинуть не через слабкий алгоритм, а через неправильну винагороду. Інженер пише reward = +1 за правильну дію, запускає навчання, а через 10 млн кроків агент знаходить спосіб отримати максимум, не вирішивши завдання. Це reward hacking — системний біль промислового RL. Наш досвід показує: правильний reward займає 70% успіху.

Чому RL складніше, ніж supervised learning?

У supervised learning є датасет з правильними відповідями. У RL правильної відповіді немає — є скалярний сигнал «краще/гірше», який надходить із затримкою в сотні кроків. Агент сам досліджує простір і знаходить стратегію.

Наслідки: нестабільність навчання, висока чутливість до гіперпараметрів, повільна збіжність. PPO (Proximal Policy Optimization) на Atari сходиться за 10 млн кроків — це години. На роботизованих завданнях з реальною фізикою — дні або тижні в симуляторі.

Чому reward engineering вирішальний для RL?

Без якісної reward-функції навчання перетворюється на лотерею. Reward hacking — класична пастка: агент знаходить неочевидний спосіб максимізувати винагороду, ігноруючи справжню ціль. Один із проєктів — сортування компонентів на PCB — demand: ми витратили 2 тижні на формалізацію reward: штраф за зіткнення, бонус за швидкість, penalty за неправильне розташування. Без цього агент навчився скидати деталі з конвеєра, отримуючи +1 за кожну скинуту, а не за відсортовану.

Як обрати алгоритм під задачу?

Як налаштувати PPO та уникнути типових проблем?

PPO — робоча конячка RL. Основна ідея: обмежуємо оновлення політики через кліпування ratio clip_range=0.2. Це дає стабільність порівняно з vanilla policy gradient. Але без грамотного налаштування агент не сходиться.

Одна з частих пасток — entropy collapse: агент занадто швидко стає детермінованим, перестає досліджувати. Симптом — entropy coefficient падає до нуля. Лікування — ent_coef=0.01–0.05 і не знижувати нижче 0.001. Інша проблема — value function розходиться, коли vf_loss_coef високий, а explained_variance від'ємний. Рекомендуємо vf_coef=0.5 і gradient clipping max_grad_norm=0.5.

Неправильний n_steps також ламає навчання. n_steps=2048 — дефолт Stable‑Baselines3. Для завдань з довгим горизонтом (>500 кроків) потрібно збільшувати, для швидких (10–50 кроків) — зменшувати до 256–512.

Для швидкого старту використовуємо stable‑baselines3 + sb3‑contrib. Для research і кастомних алгоритмів — tianshou або CleanRL.

SAC для безперервного керування

SAC (Soft Actor‑Critic) додає в objective максимізацію ентропії — агент вчиться бути і ефективним, і різноманітним. Це дає відмінну sample efficiency та стійкість до шуму в reward. На задачах керування техпроцесами SAC зазвичай обходить PPO за збіжністю: потребує на 30–40% менше взаємодій для досягнення тієї ж якості. Ключовий параметр — target_entropy. Стандартне значення ‑dim(action_space) часто підходить, але для специфічних завдань краще налаштовувати вручну.

Як перенести навченого агента на реальний пристрій?

Навчати RL на реальному роботі — дорого та небезпечно. Стандартний підхід: навчання в симуляторі → трансфер на реальне залізо. Основна проблема — reality gap: симулятор не відтворює фізику, тертя, шум датчиків.

Головний інструмент — domain randomization. Під час навчання випадково варіюємо параметри середовища: маса об'єктів ±30%, коефіцієнт тертя ±50%, затримка дій 0–100 мс, шум спостережень σ=0.01–0.1. Агент навчається бути робастним до варіацій, і реальний світ стає лише ще однією варіацією.

Порівняння популярних симуляторів:

RLHF: навчання LLM з людського зворотного зв'язку

RLHF став стандартом після InstructGPT. Класична схема: supervised fine‑tuning → reward model → PPO.

Проблеми класичного PPO: нестабільність (KL‑дивергенція може вибухнути), повільна збіжність, складність налаштування. Тому популярні альтернативи:

• DPO — обходить reward model, вчиться на парах уподобань. Простіше, стабільніше, але менш гнучкий.
• GRPO — використовується в DeepSeek‑R1, хороший для reasoning tasks.
• ORPO — об'єднує SFT та alignment в одну стадію.

Бібліотека trl від Hugging Face — стандарт. Підтримує PPO, DPO, ORPO, GRPO з коробки, працює з PEFT/LoRA для memory‑efficient fine‑tuning.

Reward hacking залишається однією з головних причин провалів у RL, поряд з неправильно обраною архітектурою середовища. Це підтверджують дослідження з відкритих джерел (Reward hacking in reinforcement learning, Wikipedia).

Що входить в роботу

• Архітектурне рішення та обґрунтування вибору алгоритму
• Розробка та документування reward‑функції
• Створення симулятора або налаштування існуючого
• Навчання, hyper‑parameter sweep (Optuna / Ray Tune)
• Трансфер на реальне залізо або інтеграція в продукт
• Документація, доступи до коду та симуляторів
• Навчання команди та 3‑місячна підтримка після деплою

Процес роботи

1. Аудит завдання — фіксуємо цілі, ресурси, обмеження.
2. Reward engineering — формалізація бажаної поведінки, перевірка на reward hacking.
3. Вибір середовища та алгоритму — baseline, перші прогони.
4. Систематичний hyperparameter sweep — використовуємо Optuna.
5. Навчання в симуляторі з domain randomization.
6. Тестування на реальному обладнанні (за потреби).
7. Деплой, моніторинг, підтримка.

Терміни: proof of concept — 2–4 тижні; production‑система з sim‑to‑real — 3–8 місяців; RLHF для LLM — 4–10 тижнів. Вартість розраховується індивідуально — оцінимо ваш проєкт за 2 дні. Замовте консультацію, щоб уникнути типових пасток RL.

Наша команда — понад п’ять років досвіду в RL, 30+ успішних проєктів у роботиці, оптимізації ланцюгів постачання та LLM alignment. Гарантуємо прозору архітектуру та повну технічну документацію. Зв'яжіться з нами для отримання детальної оцінки вашого проєкту.