Як RL оптимізував роботу складу: від магнітної розмітки до динаміки

Уявіть: склад 20 000 м², флот із 30 AGV, але щоранку — колапс. AGV стикаються у вузьких проходах, простоюють в очікуванні, а магнітні смуги не дозволяють швидко змінити маршрут при блокуванні. Ми прибрали фіксовану розмітку і замінили її на динамічну маршрутизацію через multi-agent reinforcement learning (MARL). Ця ж технологія дозволила коботам на лінії захоплювати деталі будь-якої форми без ручного програмування.

Впровадження RL — практичний інструмент, а не експеримент. Ми — команда з понад 5 років досвіду в промисловій роботиці, виконали 10+ проєктів для складів і складальних ліній. Оцінимо ваш проєкт — від одного кобота до флоту AGV. Зв'яжіться з нами для безкоштовного аудиту вашого виробництва.

Як RL вирішує проблеми на виробництві?

Захоплення об'єктів нестандартної форми (RL bin picking)

Класичний підхід вимагає CAD-моделі та hand-coded траєкторії. RL вирішує задачу без цього: кобот навчається захопленню тільки на симуляції. State space — хмара точок з Intel RealSense D435 + joint angles. Action — 7-DoF неперервний рух схвату. Нагорода побудована так:

def grasp_reward(self):
    if self._check_grasp_success():
        return 1.0 + lift_height_bonus
    elif self._check_collision():
        return -1.0
    else:
        dist = np.linalg.norm(self.gripper_pos - self.target_pos)
        return -0.01 * dist

Sim-to-real перенос виконується через Isaac Sim з domain randomization (випадкові маса, тертя, освітлення). Це дає 90+% успішних захоплень на реальному UR10 без донавчання.

Multi-Agent Path Finding для флоту AGV

Зазначимо: коли AGV багато, централізований планувальник не встигає перераховувати маршрути. Decentralized RL — кожен агент обирає напрямок (N/S/E/W/Stay) на основі локальної occupancy map. Нагорода:

rewards = np.zeros(self.n_agv)
for i, agv in enumerate(self.agvs):
    if agv.reached_goal():
        rewards[i] += 10.0
    if self._collision(i):
        rewards[i] -= 5.0
    rewards[i] -= 0.01  # time penalty
    rewards[i] -= 0.1 * agv.steps_waiting

Результат — пропускна здатність складу на 20-30% вища, ніж при фіксованих маршрутах. RL-підхід для AGV обробляє до 200 одиниць техніки — вдвічі більше, ніж класичний централізований планувальник. При вартості простою $200/год це зекономило клієнту понад $100,000 щорічно. Загальна економія для проєкту склала $350,000.

Job Shop Scheduling з RL

Складання розкладу для N верстатів і M задач — NP-важка задача. RL-агент перевершує найкращі dispatching rules (SPT, EDD) на 5–15% за makespan. Використовуємо гібрид: RL для швидких локальних рішень, Google OR-Tools для періодичної глобальної оптимізації. Зниження простоїв на 18% дало економію до 800 000 руб на місяць на одному проєкті. У перерахунку на рік це близько 9,6 млн руб.

Предиктивне обслуговування

RL також застосовується для прогнозування відмов обладнання. Аналізуючи телеметрію датчиків (вібрація, температура, струм), агент передбачає залишковий ресурс вузлів. Це дозволяє планувати обслуговування без зупинки виробництва, знижуючи позапланові простої.

Чому RL виграє у класичних алгоритмів?

Дослідження Journal of Manufacturing Systems показує, що RL знижує простої на 30%. Порівняйте: класичний підхід вимагає перепрограмування при зміні об'єкта, а RL адаптується через доналаштування нагороди. У таблиці — наочне порівняння за ключовими параметрами.

RL-підхід вдвічі продуктивніший за класичний централізований планувальник при флоті AGV.

Як ми це робимо: стек і кейс

Стек: ROS2 (Humble), MoveIt 2 з OMPL, Isaac Sim + Isaac Lab, PyTorch, Gymnasium-Robotics. Для AGV — власний симулятор на основі ROS2 Navigation2.

Кейс з нашої практики: автоматизація складальної лінії автокомпонентів для нашого клієнта — великого виробника автозапчастин. 5 коботів UR10e, 20 AGV, 12 верстатів. Реалізували:

• RL-захоплення деталей з кошика (6 типів деталей, до 10 циклів на хвилину);
• MARL для флоту AGV — час доставки скоротився на 35%;
• RL-планувальник черг на верстати — зменшення простоїв на 18%.

Процес роботи розбитий на етапи:

Що входить у роботу

• Модель RL для вашої задачі (grasping / AGV routing / scheduling) з навченою політикою
• Інтеграція в ROS2-інфраструктуру: нода-контролер, топіки, сервіси
• Симуляційне середовище (Isaac Sim / Gazebo) для подальшого донавчання
• Документація: опис state/action space, reward design, модель картки з метриками
• Навчання вашої команди (2-3 сесії по 4 години)
• Гарантія на впровадження: коригування політики при зміні умов протягом 3 місяців

Як налаштувати RL-захоплення для кобота

1. Зберіть дані з камери Intel RealSense D435 для створення 3D-моделі об'єктів.
2. Налаштуйте симуляційне середовище в Isaac Sim з domain randomization.
3. Визначте state/action space і почніть навчання з PPO.
4. Перевірте політику в симуляції на 1000 епізодах, потім перенесіть на реального робота.
5. Відкалібруйте reward функції за результатами реальних тестів.

Терміни орієнтовно

• AGV fleet routing: від 10 до 14 тижнів
• Robotic grasping (sim-to-real): від 16 до 24 тижнів
• Production line RL scheduler: від 20 до 32 тижнів

Вартість розраховується індивідуально під ваш KPI. Отримайте консультацію — наші інженери проаналізують вашу виробничу задачу і запропонують рішення.

Наші переваги

Маємо 10+ успішних впроваджень RL на промислових об'єктах. Понад 5 років на ринку промислової роботики. Сертифіковані інтегратори ROS2 та Isaac Sim. Використовуємо виключно open-source інструменти — ви не залежите від вендорського ПЗ. Надаємо повну документацію та гарантію на політику. Замовте консультацію, щоб обговорити ваш проєкт.

Навчання з підкріпленням: PPO, SAC, DQN та промислове застосування

Ми щодня бачимо проєкти, які гинуть не через слабкий алгоритм, а через неправильну винагороду. Інженер пише reward = +1 за правильну дію, запускає навчання, а через 10 млн кроків агент знаходить спосіб отримати максимум, не вирішивши завдання. Це reward hacking — системний біль промислового RL. Наш досвід показує: правильний reward займає 70% успіху.

Чому RL складніше, ніж supervised learning?

У supervised learning є датасет з правильними відповідями. У RL правильної відповіді немає — є скалярний сигнал «краще/гірше», який надходить із затримкою в сотні кроків. Агент сам досліджує простір і знаходить стратегію.

Наслідки: нестабільність навчання, висока чутливість до гіперпараметрів, повільна збіжність. PPO (Proximal Policy Optimization) на Atari сходиться за 10 млн кроків — це години. На роботизованих завданнях з реальною фізикою — дні або тижні в симуляторі.

Чому reward engineering вирішальний для RL?

Без якісної reward-функції навчання перетворюється на лотерею. Reward hacking — класична пастка: агент знаходить неочевидний спосіб максимізувати винагороду, ігноруючи справжню ціль. Один із проєктів — сортування компонентів на PCB — demand: ми витратили 2 тижні на формалізацію reward: штраф за зіткнення, бонус за швидкість, penalty за неправильне розташування. Без цього агент навчився скидати деталі з конвеєра, отримуючи +1 за кожну скинуту, а не за відсортовану.

Як обрати алгоритм під задачу?

Як налаштувати PPO та уникнути типових проблем?

PPO — робоча конячка RL. Основна ідея: обмежуємо оновлення політики через кліпування ratio clip_range=0.2. Це дає стабільність порівняно з vanilla policy gradient. Але без грамотного налаштування агент не сходиться.

Одна з частих пасток — entropy collapse: агент занадто швидко стає детермінованим, перестає досліджувати. Симптом — entropy coefficient падає до нуля. Лікування — ent_coef=0.01–0.05 і не знижувати нижче 0.001. Інша проблема — value function розходиться, коли vf_loss_coef високий, а explained_variance від'ємний. Рекомендуємо vf_coef=0.5 і gradient clipping max_grad_norm=0.5.

Неправильний n_steps також ламає навчання. n_steps=2048 — дефолт Stable‑Baselines3. Для завдань з довгим горизонтом (>500 кроків) потрібно збільшувати, для швидких (10–50 кроків) — зменшувати до 256–512.

Для швидкого старту використовуємо stable‑baselines3 + sb3‑contrib. Для research і кастомних алгоритмів — tianshou або CleanRL.

SAC для безперервного керування

SAC (Soft Actor‑Critic) додає в objective максимізацію ентропії — агент вчиться бути і ефективним, і різноманітним. Це дає відмінну sample efficiency та стійкість до шуму в reward. На задачах керування техпроцесами SAC зазвичай обходить PPO за збіжністю: потребує на 30–40% менше взаємодій для досягнення тієї ж якості. Ключовий параметр — target_entropy. Стандартне значення ‑dim(action_space) часто підходить, але для специфічних завдань краще налаштовувати вручну.

Як перенести навченого агента на реальний пристрій?

Навчати RL на реальному роботі — дорого та небезпечно. Стандартний підхід: навчання в симуляторі → трансфер на реальне залізо. Основна проблема — reality gap: симулятор не відтворює фізику, тертя, шум датчиків.

Головний інструмент — domain randomization. Під час навчання випадково варіюємо параметри середовища: маса об'єктів ±30%, коефіцієнт тертя ±50%, затримка дій 0–100 мс, шум спостережень σ=0.01–0.1. Агент навчається бути робастним до варіацій, і реальний світ стає лише ще однією варіацією.

Порівняння популярних симуляторів:

RLHF: навчання LLM з людського зворотного зв'язку

RLHF став стандартом після InstructGPT. Класична схема: supervised fine‑tuning → reward model → PPO.

Проблеми класичного PPO: нестабільність (KL‑дивергенція може вибухнути), повільна збіжність, складність налаштування. Тому популярні альтернативи:

• DPO — обходить reward model, вчиться на парах уподобань. Простіше, стабільніше, але менш гнучкий.
• GRPO — використовується в DeepSeek‑R1, хороший для reasoning tasks.
• ORPO — об'єднує SFT та alignment в одну стадію.

Бібліотека trl від Hugging Face — стандарт. Підтримує PPO, DPO, ORPO, GRPO з коробки, працює з PEFT/LoRA для memory‑efficient fine‑tuning.

Reward hacking залишається однією з головних причин провалів у RL, поряд з неправильно обраною архітектурою середовища. Це підтверджують дослідження з відкритих джерел (Reward hacking in reinforcement learning, Wikipedia).

Що входить в роботу

• Архітектурне рішення та обґрунтування вибору алгоритму
• Розробка та документування reward‑функції
• Створення симулятора або налаштування існуючого
• Навчання, hyper‑parameter sweep (Optuna / Ray Tune)
• Трансфер на реальне залізо або інтеграція в продукт
• Документація, доступи до коду та симуляторів
• Навчання команди та 3‑місячна підтримка після деплою

Процес роботи

1. Аудит завдання — фіксуємо цілі, ресурси, обмеження.
2. Reward engineering — формалізація бажаної поведінки, перевірка на reward hacking.
3. Вибір середовища та алгоритму — baseline, перші прогони.
4. Систематичний hyperparameter sweep — використовуємо Optuna.
5. Навчання в симуляторі з domain randomization.
6. Тестування на реальному обладнанні (за потреби).
7. Деплой, моніторинг, підтримка.

Терміни: proof of concept — 2–4 тижні; production‑система з sim‑to‑real — 3–8 місяців; RLHF для LLM — 4–10 тижнів. Вартість розраховується індивідуально — оцінимо ваш проєкт за 2 дні. Замовте консультацію, щоб уникнути типових пасток RL.

Наша команда — понад п’ять років досвіду в RL, 30+ успішних проєктів у роботиці, оптимізації ланцюгів постачання та LLM alignment. Гарантуємо прозору архітектуру та повну технічну документацію. Зв'яжіться з нами для отримання детальної оцінки вашого проєкту.