Налаштування торгового RL-агента в OpenAI Gym / Gymnasium

Чому торговий агент в OpenAI Gym не виходить у прод

Агент, навчений у OpenAI Gym, рідко виходить у прод з першої спроби — справа зазвичай не в алгоритмі. Середовище навчання агента живе за власними правилами: рівний крок, неперервний ряд, миттєве виконання заявки.

Історичні дані надходять інакше — пропуски, різні години закриття, розриви на святах. Розсинхрон середовища й даних ламає перенесення на реальний контур.

Друга точка відмови — винагорода. Якщо в неї не зашиті спред, комісія та прослизання, агент оптимізує те, чого на рахунку не існує. Нестабільна збіжність видна відразу: крива навчання рветься, найкращі епізоди припадають на вдалий режим ринку, а не на стійку поведінку.

Якість історичних даних вирішує більше, ніж вибір методу. Дивідендні коригування, папери, що вижили, склейки та дірки в сесіях агент вивчає як закономірності й повторює в бою.

Тому ряд перевіряємо на розриви до старту навчання — інакше метрики на відкладеній вибірці не означають нічого.

Окремо — відтворюваність експерименту. Без фіксації зерна генератора, версій середовища та порядку нарізки даних покращення не відрізнити від випадковості.

Деградація на довгому горизонті видна не відразу: на свіжому відрізку політика тримається, на кількох режимах ринку підряд — розсипається.

Тому навчання ведемо з перевіркою на ковзних вікнах і стрес-періодами, а не однією метрикою. Нижче — як закриваємо кожне з цих місць.

Що дає налаштоване середовище навчання з підкріпленням

Налаштоване середовище — це зафіксований крок симуляції, визначений набір спостережень, єдине правило завершення епізоду та однакова послідовність випадкових станів на кожному прогоні.

Поки це не закріплено, агент навчається на шумному сигналі: частина запусків збігається, частина деградує, і порівняти експерименти між собою неможливо. Контракт середовища приводимо до OpenAI Gym — той самий код агента переноситься між задачами без переписування.

Що стає вимірюваним, коли середовище налаштоване:

• Час навчання агента — перезапуски через несумісні спостереження та розсинхрон кроків зникають, серія прогонів укладається в години, і план експериментів не зривається.
• Стійкість стратегії — політика перевіряється на довгих серіях з різними стартовими умовами: результат не розсипається до третього епізоду й тримається на горизонті.
• Клас відмов — частина збоїв закривається на рівні середовища (некоректні стани, вихід за межі дії) і перестає виглядати як помилка навчання.
• Контроль перенавчання — виділяється окремий набір епізодів для перевірки: агент показує результат там, де раніше не навчався.
• Повторюваність результату — два однакових запуски дають зіставний графік винагороди, тому гіпотези перевіряються порівнянням, а не суперечкою.

Підсумок — стає видно, що саме дало приріст: зміна винагороди, набору спостережень або умов зупинки. Гіпотези відсіюються на коротких прогонах, а не після довгого розгортання.

Режими запуску в OpenAI Gym: порівняння підходів

Режим запуску середовища задає, звідки агент бере дані та як часто оновлюється політика. У OpenAI Gym та його актуальній гілці це не деталь конфігурації, а розвилка: той самий алгоритм по-різному поводиться на записаних епізодах і в живому контурі.

Нижче — три режими, між якими зазвичай обирають; вони різняться вимогами до даних і до супроводу.

Розбір історії дає базову політику, симуляція — перевірку на рідкісних сценаріях, онлайн-донавчання — адаптацію до поточного ринку; режими доповнюють один одного.

Загальне обмеження одне: середовище й набір даних живуть у коді, тому їхню версію та метрики фіксують разом з версією агента — інакше прогін не відтворюється.

Як ми налаштовуємо та перевіряємо середовище навчання агента

Середовище — найчастіше джерело розходження між результатом навчання та поведінкою агента на реальних даних.

Якщо крок симуляції залежить від машини, спостереження масштабуються по-різному, а винагорода рахується від незафіксованого початкового стану, навчання відтворюється лише на одному стенді.

Тому ми починаємо з аудиту, а не з підбору параметрів моделі — середовище для торгового агента збирається поверх OpenAI Gym та його актуальної гілки, де частина цих припущень уже закладена в інтерфейс.

1. Аудит середовища й даних. Перевіряємо розмірність спостережень і дій, межі значень, крок симуляції, детермінованість переходів і коректність скидання епізоду.
2. Схема експерименту. Фіксуємо версію середовища, генератори випадкових чисел, розбиття на навчання та відкладену перевірку, формат логів і метрик.
3. Налаштування винагороди. Збираємо функцію винагороди з цільового результату, штрафів за ризик і заборон на недопустимі стани, відсікаємо викиди на довгих епізодах.
4. Навчання та контроль збіжності. Запускаємо серію прогонів з різними генераторами й дивимося розкид винагороди — так стійке зростання відрізняється від одиничної удачі.
5. Стрес-перевірка агента. Змінюємо параметри середовища, додаємо шум і затримки спостережень, перевіряємо крайні стани та поведінку на межах діапазонів.
6. Передача рішення. Віддаємо код середовища, конфігурації, скрипти запуску, панель метрик та інструкцію з відтворення запусків на іншому обладнанні.

Такий порядок дає головне: результат можна переперевірити, а не прийняти на віру за одним гарним графіком. Стрес-перевірки заздалегідь показують, де агент ламається, — це дешевше, ніж виявити те саме на живому ринку.

Конфігурації, схеми середовища та регламенти експерименту

Навчання агента знецінюється, якщо результат не можна повторити: та сама конфігурація середовища, той самий набір даних, той самий крок симуляції — інакше крива винагороди не збігається двічі.

Тому разом із моделлю ми передаємо команді замовника повний набір артефактів, за якими прогін відтворюється й розбирається без нас.

• Конфігурація середовища — окремі файли з усіма параметрами: простори спостережень і дій, крок симуляції, нормалізація входів, зерно генератора випадкових чисел. Той самий прогін піднімається на іншій машині без правок коду.
• Схема процесу навчання — від збору даних до оцінки політики: де середовище Gymnasium, де буфер досвіду, у якій точці зберігається модель і як рахується винагорода.
• Журнал експериментів — за кожним прогоном фіксуємо гіперпараметри, кількість кроків, криву винагороди, шлях до артефакту моделі та короткий коментар, що змінювали й навіщо.
• Регламент перезапуску — умови зупинки, точка продовження навчання, скільки кроків відводиться на перевірку політики перед наступною зміною.
• Матриця оцінювання — метрики, за якими ваша команда сама вирішує, чи годиться політика: дохідність на історичному відрізку, просадка, частка відхилених дій.
• Скрипти запуску та перевірок — одна команда на прогін плюс автотести на форму спостережень і коректність розрахунку винагороди.
• Документація рішення — архітектура агента, входи й виходи, відомі обмеження та типові помилки з ознаками, за якими їх розпізнають.

Такий комплект знімає залежність від підрядника: зміни у винагороді або в моделі перевіряються за регламентом, а не за пам'яттю автора.

Кейс: усунули деградацію агента на довгому горизонті

Що було

Агент навчався керувати торговою стратегією в середовищі OpenAI Gym.

На коротких епізодах політика збігалася впевнено, але на довгому горизонті утримання позиції якість падала: частка невдалих епізодів — близько 40%, розкид результату між прогонами з однаковими налаштуваннями — до трьох разів. Повний цикл навчання займав майже добу, і частину прогонів доводилося викидати повністю.

Що змінили

Причиною виявилася функція винагороди: вона заохочувала часті угоди, і агент вивчав коротку тактику замість стратегії. Винагороду переписали під утримання позиції, додали нормування спостережень і обмеження кроку оновлення, щоб політика не йшла в крайні рішення.

Навчання розбили на етапи з поступовим ускладненням горизонту: короткі вікна, потім дедалі довші, з перевіркою на кожному переході.

Прогони зафіксували за зерном генератора та порядком сцен, оцінку винесли на відкладені епізоди, яких не було в навчанні, і додали ранню зупинку за ковзним середнім.

Паралельні середовища та контрольні точки скоротили час циклу: навчання перестало бути монолітним, відкат до попереднього стану займає хвилини.

Частка невдалих епізодів знизилася з 40% до 9%, розкид між прогонами — з трьох разів до 1,2, повний цикл навчання прискорився в 2,4 раза. На даних, які не брали участі в навчанні, поведінка агента залишилася стійкою: деградації на довгому горизонті немає.

Чим відрізняється середовище навчання від бойового контуру?

Середовище в OpenAI Gym описує ринок приблизно: крок дискретний, заявка виконується миттєво й повністю, комісія фіксована, а історія доступна до кінця епізоду.

У робочому контурі ті самі дії йдуть в асинхронний потік котирувань, частина заявок виконується не повністю, додаються затримки відповіді та прослизання.

Агент із рівною кривою винагороди в тестовому середовищі під час перенесення поводиться інакше — і це не помилка навчання, а різниця умов.

Перенесення моделі роблять у два кроки. Спочатку агент працює в тіньовому режимі: рішення рахуються, але заявки не йдуть на торги, а пишуться в журнал — так видно розходження між очікуваним і фактичним виконанням.

Потім вмикають контроль ризиків: ліміт на розмір позиції, обмеження кількості угод за інтервал і автоматичну зупинку, якщо результат відхиляється від розрахункового.

Технічні сумніви перед стартом роботи

Сумніви на старті рідко стосуються алгоритму — запитують про інфраструктуру: що робити з уже розгорнутим середовищем, як переконатися, що агент не підганяється під навчальну вибірку, і чи переживе модель переїзд.

Як відрізнити перенавчання агента від недоробки винагороди?

Винагорода зростає на навчальних епізодах і падає на відкладених, яких агент не бачить. Тримаємо окремий набір сценаріїв і звіряємося за ним на контрольних точках; обмеження різких змін політики знімає ефект до закріплення.

Чи можна перенести модель і що робити при зміні даних?

Переносимо разом з описом простору спостережень і дій — без нього політика не інтерпретується; при іншій частоті кроків додаємо шар узгодження. При зсуві даних порівнюємо розподіл входів з навчальним і донавчаємо на нових епізодах, стежачи за метриками на старих.

Що входить у підтримку рішення?

Конфігурації навчання, скрипти відтворення прогонів і регламент перенавчання при зміні середовища. Перший час супроводжуємо: розбираємо розходження метрик, доналаштовуємо винагороду та пороги зупинки.

Обговоримо задачу й повернемося з оцінкою та планом

Щоб оцінка була предметною, для старту достатньо кількох вступних. Чим точніше описано інструмент, торгові інтервали та обмеження за ризиком, тим менше припущень ми закладаємо в план — і тим менше правок спливе на середині роботи.

• Постановка задачі: що за інструмент, яка торгова логіка, що вважаємо успіхом — дохідність, просадка, частка прибуткових угод.
• Дані: історичні котирування або записи угод, глибина історії, склад ознак, відомі пропуски та викиди.
• Обмеження за ризиком: допустима просадка, ліміти на позицію, частота угод, правила зупинки агента.
• Середовище виконання: тестовий контур брокера або симулятор, спосіб підключення, обмеження на автоматичну торгівлю.
• Поточні напрацювання: код середовища на OpenAI Gym, конфігурації навчання, логи минулих запусків — якщо є, починаємо з них, а не з нуля.
• Критерії приймання: якими метриками й на якому відрізку підтверджуємо результат, як перевіряємо стійкість агента поза навчальним періодом.
• Межі роботи: бажаний строк, формат звітності, хто приймає результат з боку замовника.

У відповідь надходить оцінка обсягу робіт, план етапів з контрольними точками, склад команди під кожен етап і узгоджені критерії приймання — зафіксовані до старту, а не по ходу. Опишіть задачу у вільній формі та додайте те, що вже є: повернемося з оцінкою та планом.