Разработка системы A/B тестирования торговых моделей
A/B тестирование торговых моделей — это контролируемое сравнение двух стратегий на живом рынке. В отличие от backtesting, A/B тест учитывает реальные условия: slippage, latency, market impact, regime changes. Но это и сложнее: рынок меняется, поэтому нельзя просто запустить модели последовательно.
Принципы:
- Simultaneity: обе модели должны торговать одновременно, иначе сравнение нечестное
- Capital allocation: разделяем торговый капитал между двумя моделями (50/50 или 70/30)
- Symbol separation: для каждого символа используется одна модель (A или B), распределены равномерно
- Statistical significance: нельзя принять решение после 10 сделок. Нужен достаточный объем данных
Router: детерминированное hash-based назначение символа версии модели обеспечивает стабильность.
Статистические тесты:
- Frequentist: Welch's t-test, Mann-Whitney U test, effect size (Cohen's d)
- Bayesian: P(B > A), expected lift, credible intervals
- Sequential testing: SPRT (Wald) для раннего остановки
Guardrail метрики: защита от вреда. Max drawdown, max дневный убыток, minimum сделок, minimum win rate. Немедленная остановка при нарушении.
Decision framework:
- P-value < 0.05 И N сделок > min_trades → можно принимать решение
- Bayesian P(B > A) > 95% → уверенная победа B
- Cohen's d < 0.1 → практически нет разницы, выбираем по другим критериям
Dashboard: realtime equity curves, P-value и confidence intervals, Bayesian probability, таблица метрик (Sharpe, Win Rate, Max DD).
Разрабатываем систему A/B тестирования с capital allocation routing, statistical significance testing (frequentist + Bayesian), sequential stopping rules, guardrail monitoring и decision dashboard.