Настройка FinRL Framework для обучения торгового агента

Торговый агент на основе DRL даёт сбой, если среда не отражает реальные комиссии и ликвидность. Мы сталкивались с проектами, где модель показывала 200% доходности в симуляции, но на живом рынке теряла капитал из-за игнорирования спредов и slippage. FinRL решает это через настраиваемую среду StockTradingEnv, где можно задать комиссии покупки/продажи, начальный капитал и лимиты на транзакцию. Нередко разработчики копируют конфигурацию из статьи без учёта своего брокера: например, используют стандартные 0.1% комиссии, а реальные — 0.3% с учётом спреда. После корректировки среды доходность упала с 30% до 8%, зато модель стала стабильно зарабатывать на реале. Мы настраиваем среду под конкретные рыночные условия: ликвидность, спреды, ограничения на объём позиции. Наш опыт — 5+ лет внедрения DRL в финансах, 50+ успешных проектов. Гарантируем рабочий baseline за 2–3 дня. Получите консультацию — оценим ваш кейс под ключ. Свяжитесь с нами для расчёта стоимости и сроков.

Типичные проблемы при настройке FinRL

Игнорирование комиссий и проскальзывания. Если не задать buy_cost_pct и sell_cost_pct, агент будет совершать сделки с нулевыми издержками, что в реальности невозможно. В проекте с одной хедж-фондов мы добавили проскальзывание 0.05% на сделку — доходность снизилась на 12%, но модель стала устойчивой к рыночным условиям.

Переобучение на исторических данных. Агент может запомнить шум вместо сигнала. Чтобы этого избежать, используем out-of-sample бэктест с разделением данных 70/30 и регуляризацию через энтропийный бонус в PPO. Типичная экономия на штрафах за риск: +15% Sharpe ratio.

Некорректная нормализация признаков. Цены акций немасштабированы, что затрудняет обучение. FinRL автоматически применяет Z-score нормализацию к техническим индикаторам, но если данные содержат выбросы (например, flash crash), агент может выбрать неверную стратегию. Мы добавляем winsorization на 0.5% перцентиля.

Установка и первый запуск

pip install finrl pip install stockstats wrds alpaca-trade-api # источники данных 

Быстрый старт:

import finrl from finrl.train import train from finrl.test import test from finrl.config_tickers import DOW_30_TICKER from finrl.config import INDICATORS # обучение на акциях Dow Jones 30 train( start_date='2010-01-01', end_date='2021-10-31', ticker_list=DOW_30_TICKER, data_source='yahoofinance', technical_indicator_list=INDICATORS, drl_lib='stable_baselines3', env='stock_trading', model_name='ppo', if_store_account_value=True, cwd='./trained_models/ppo_dow30' ) test( start_date='2021-11-01', end_date='2023-12-31', ticker_list=DOW_30_TICKER, data_source='yahoofinance', technical_indicator_list=INDICATORS, drl_lib='stable_baselines3', env='stock_trading', model_name='ppo', cwd='./trained_models/ppo_dow30' ) 

Как настроить функцию вознаграждения?

Функция вознаграждения определяет поведение агента. В FinRL она задаётся через reward_scaling в env_kwargs. По умолчанию награда равна изменению стоимости портфеля. Мы часто добавляем штраф за чрезмерный риск, например, дисперсию дневных доходностей. Это заставляет агента искать более стабильные стратегии, повышая Sharpe ratio на 15–20%.

from finrl.meta.env_stock_trading.env_stocktrading import StockTradingEnv env_kwargs = { "hmax": 100, # max акций за транзакцию "initial_amount": 1_000_000, # начальный капитал "buy_cost_pct": [0.001] * n, # комиссия покупки "sell_cost_pct": [0.001] * n, # комиссия продажи "state_space": state_space, "stock_dim": n_tickers, "tech_indicator_list": INDICATORS, "action_space": n_tickers, "reward_scaling": 1e-4 # масштаб reward } env = StockTradingEnv(df=train_df, **env_kwargs) 

Почему PPO эффективен для трейдинга?

PPO (Proximal Policy Optimization) — один из самых популярных алгоритмов для финансовых DRL. Он стабильнее A2C, быстрее DDPG и требует меньше настройки гиперпараметров. В наших бенчмарках PPO превосходит A2C по Sharpe ratio на 15–20% и сходится в 2 раза быстрее DDPG на одинаковом объёме данных. Согласно исследованию, PPO обеспечивает надёжную сходимость в задачах с непрерывным пространством действий.

Для сравнения моделей используйте встроенные функции FinRL:

models = ['a2c', 'ddpg', 'ppo', 'td3', 'sac'] results = {} for model_name in models: train(model_name=model_name, cwd=f'./models/{model_name}', ...) account_value = test(model_name=model_name, cwd=f'./models/{model_name}', ...) results[model_name] = account_value # визуализация from finrl.plot import backtest_plot backtest_plot(results, baseline_start='2022-01-01', baseline_end='2023-12-31', baseline_ticker='^GSPC') # vs S&P500 

Как избежать overfitting при обучении агента?

Overfitting — частая проблема DRL в финансах. Чтобы её избежать, используйте следующие приёмы:

• Разделите данные на train/validation/test (например, 60/20/20). Валидационная выборка нужна для ранней остановки.
• Примените регуляризацию: в PPO это параметр ent_coef (энтропийный бонус). Значение 0.01–0.05 улучшает обобщение.
• Добавьте noise в среду: случайные задержки исполнения ордеров или стохастическую комиссию. Это имитирует рыночный шум.
• Ограничьте количество шагов эпизода — не более 252 (торговый год). Короткий эпизод заставляет агента фокусироваться на краткосрочных сигналах.
• Проверяйте модель на out-of-sample периодах с кризисами (например, 2020). Если доходность падает более чем на 30%, агент переобучен.

Какие метрики использовать для оценки агента?

Не стоит полагаться только на накопленную доходность. Используйте комплекс метрик:

• Sharpe ratio — доходность с поправкой на риск. Хороший агент показывает Sharpe > 1.0.
• Maximum drawdown — максимальная просадка. Допустимо не более 20% от пика.
• Win rate — процент прибыльных сделок. Выше 50% уже хорошо, но зависит от стратегии.
• Calmar ratio — отношение годовой доходности к максимальной просадке. Идеально > 2.
• Sortino ratio — аналог Sharpe, учитывает только отрицательную волатильность. Более строгий.

В FinRL эти метрики можно получить через backtest_plot() или рассчитать вручную из account_value. Мы предоставляем в отчёте все ключевые показатели.

Что входит в работу

• Анализ доступных рыночных данных и выбор источников.
• Конфигурация среды StockTradingEnv под ваш брокер/рынок.
• Обучение 5 DRL-алгоритмов с автоматическим подбором гиперпараметров.
• Бэктестинг на исторических данных с отчётом по метрикам (Sharpe, Sortino, Max Drawdown).
• Передача обученной модели и документации по запуску.
• Консультация по интеграции в ваш торговый терминал.

Процесс работы

1. Аналитика — разбор требований, источников данных, ограничений.
2. Проектирование — определение state/action space, функции reward.
3. Реализация — настройка FinRL, обучение baseline моделей.
4. Тестирование — бэктест на out-of-sample данных, проверка на устойчивость.
5. Деплой — выдача модели, обучение персонала.

Сроки ориентировочно

Стоимость рассчитывается индивидуально — пишите, оценим проект. Наши сертифицированные по TensorFlow инженеры имеют опыт работы с JAX и PyTorch. Получите консультацию — обсудим детали. Закажите настройку FinRL — получите рабочий прототип за 2–3 дня.