Walk-forward анализ стратегии: где ломается тест на истории
Однократный прогон на истории почти всегда заканчивается одинаково: параметры подбираются под конкретный участок прошлого и на нём же показывают ровную кривую. Стратегия выходит на живой рынок — и та же логика входа даёт просадку, которой не было ни в одном тестовом сценарии. Ошибки в коде может не быть вовсе: подгонка и оценка шли на одних и тех же данных, поэтому тест проверял память, а не правило.
Метод walk-forward разрывает эту связь. Ряд сделок режется на последовательные окна: на первом стратегия оптимизируется, на следующем — только проверяется, затем окно сдвигается и цикл повторяется. Параметры ни разу не «видят» участок, на котором их оценивают, а итог складывается из серии независимых прогонов вместо одного удачного подбора — схема подробно разобрана у Пардо.
Смысл не в красивой кривой, а в разбросе между окнами. Если доходность и глубина просадки держатся на сдвинутых отрезках, устойчивость результата подтверждена: видно, как логика переживает тренд, боковик и резкий разворот. Если показатели рассыпаются от сдвига окна на один шаг — это переоптимизация параметров, и цена такого открытия на тесте несопоставима с ценой на рабочем счёте.
Дальше разбираем, как это закрывается: как нарезать окна и сколько держать в каждом, какие метрики считать по серии прогонов, где проходит граница между рабочей просадкой и признаком неустойчивости.
Что даёт walk-forward анализ стратегии на практике
Один прогон по историческим данным отвечает на вопрос «какую доходность стратегия показала на прошлом отрезке» — и молчит о том, что будет на новых данных. Настройки, подобранные под конкретный период, часто держатся ровно до первого сдвига рынка: в отчёте цифра красивая, а на живом счёте идёт серия убыточных сделок.
Walk-forward анализ устроен иначе. История режется на последовательные окна: на одном параметры подбираются, на следующем проверяются вслепую, затем окно сдвигается вперёд и процедура повторяется. На выходе — не одна цифра, а ряд независимых результатов: видно разброс доходности между окнами и то, как он меняется со временем.
Из этого разброса читаются рабочие вещи. Доля ложных сигналов показывает, сколько входов стратегия открыла бы на данных, которых не видела при настройке. Устойчивость стратегии проверяется сменой рыночного режима — тренд, боковик, всплеск волатильности — и видно, в каком из них логика разваливается. Если параметры скачут от окна к окну, а результат держится на одном удачном отрезке, это подгонка, а не рабочее правило.
Выживаемость на новых данных — главный критерий. Когда результат в проверочных окнах сопоставим с обучающими и не зависит от одного периода, стратегию можно переносить в реальную торговлю с предсказуемым поведением. В этом и измеримый смысл walk-forward анализа: не «поднять доходность», а отделить устойчивое поведение от случайного совпадения.
Сравнение схем проверки: скользящее окно и его альтернативы
Схема проверки определяет, сколько истории видит модель в момент решения и на каком отрезке считается результат. Ошибка в выборе стоит дороже неудачных параметров: стратегия уверенно проходит проверку, а на живых данных расходится с ней. Схемы прогона различаются двумя вещами — растёт ли окно обучения и как часто модель переобучается.
Ниже — варианты, между которыми реально выбирают на старте. Выбор фиксируется до первого прогона: подмена схемы после просмотра результатов превращает проверку в подгонку.
| Схема | Когда подходит | Ограничения |
|---|---|---|
| Скользящее окно | нестабильный рынок, стратегии с обучением на истории | больше прогонов, выше время счёта |
| Однократная проверка | быстрый отбор гипотез, прикидка перед глубоким разбором | один отрезок истории, высокий риск подгонки |
| Расширяющееся окно | длинная история, устойчивый режим рынка | старая история давит на модель, вес свежих данных падает |
| Перекрёстная проверка | сравнение моделей на коротких рядах | перемешивание нарушает порядок времени и заносит будущее в обучение |
На практике схемы комбинируют: однократной отбрасываем заведомо слабые гипотезы, скользящим окном проверяем финалистов. Перекрёстную проверку берём только там, где порядок наблюдений не важен.
Как проходит внедрение системы проверки стратегий
Внедрение системы проверки стратегий начинается не с кода, а с договорённости о том, что считается достоверным результатом. Пока правила проверки не зафиксированы, красивый график доходности остаётся предметом веры, поэтому работу ведём этапами — от аудита данных до приёмки контура.
- Аудит данных. Сверяем источники между собой, ищем пропуски, разрывы, дубли и всплески, проверяем торговый календарь. На выходе — отчёт о пригодности рядов и перечень участков, которые нужно восстановить или исключить.
- Схема проверки. Фиксируем параметры walk-forward анализа: окно обучения, окно проверки, шаг сдвига, горизонт удержания позиции. Отбор идёт только на обучающем окне — иначе результат завышен.
- Настройка прогонов. Задаём комиссии и проскальзывание, правила ребалансировки, ограничения по ликвидности, журналирование каждого шага. Прогон должен воспроизводиться из тех же входных файлов.
- Контрольные прогоны. Пропускаем через контур заведомо слабые и заведомо устойчивые стратегии — система обязана уверенно их различать. Если случайный набор правил проходит отбор, ищем ошибку в схеме.
- Приёмка контура. Сверяем результаты на независимом наборе данных, проверяем воспроизводимость, фиксируем регламент обновления рядов и передаём документацию вашей команде.
После приёмки контур расширяется без переделки: новые рынки, горизонты и правила отбора добавляются при неизменной схеме проверки.
Конфигурации, регламенты и документация контура проверки
Заказчик получает не отчёт с красивыми кривыми, а работающий контур walk-forward анализа, который его инженеры могут запустить, изменить и перепроверить без нас. Поэтому в передачу входит не только код, но и всё, что делает результат воспроизводимым: конфигурации прогонов, правила доступа, регламенты и документация. Ниже — перечень того, что остаётся у команды заказчика.
- Файлы конфигураций прогонов — длина окна обучения и окна проверки, шаг сдвига, набор инструментов, комиссии и проскальзывание, ограничения на размер позиции. Каждый прогон однозначно привязан к версии конфигурации, поэтому результат всегда можно повторить.
- Схема раскладки артефактов — где лежат сделки, метрики по каждому окну, кривые доходности и сводка; как имя папки связано с версией конфигурации и набором данных.
- Политики доступа — роли и права: кто меняет параметры, кто только запускает прогон, кто просматривает результаты. Отдельно — журнал изменений конфигураций с автором и причиной правки.
- Регламент перепроверки — как часто запускается проверка на свежих данных, какие события считаются основанием для внепланового прогона (смена режима рынка, просадка за порогом, рост доли отклонённых сделок).
- Набор эталонных прогонов — зафиксированные результаты на неизменном историческом отрезке. Сравнение с ними показывает, что после правок контур считает по-прежнему, а не «тихо» разошёлся.
- Документация контура — описание каждого параметра: что он означает, в каких пределах меняется и как его изменение отражается на метриках. С перечнем типовых ошибок и признаков, по которым их распознать.
- Инструкции по передаче и восстановлению — пошаговый запуск с нуля на чистом окружении, порядок действий при сбое, где смотреть журналы выполнения и как откатиться на предыдущую версию конфигурации.
- Критерии приёмки — список проверок, по которым команда заказчика принимает контур: совпадение метрик с эталоном, успешный запуск силами своих инженеров, воспроизводимость на другом наборе данных.
Пока инженер заказчика не запустит прогон самостоятельно и не получит метрики, совпадающие с эталонными, контур мы переданным не считаем — это и есть граница приёмки.
Кейс: как пересборка схемы проверки убрала ложные сигналы
Заказчик — команда, торгующая стратегией на нескольких криптовалютных парах. Проверка строилась на одном длинном отрезке истории: параметры подбирались на всех данных, и на них же считался итог. На бумаге кривая росла ровно, а в торговле сразу после запуска пошли серии убыточных недель.
Что показал разбор
Причина распалась на три части. Между обучающим и проверочным окнами не было зазора, поэтому индикаторы на границе обучения подсматривали вперёд. Отбор параметров шёл по всей истории, включая ту её часть, которая потом служила проверкой. Режимы рынка — тренд, боковик, резкие движения — не размечались, и конфигурация, устойчивая на тренде, молча ломалась в боковике.
Метрики до и после
Схему пересобрали как walk-forward анализ на Backtrader: скользящие окна обучения и проверки с фиксированным шагом, зазор между ними, отбор параметров только по обучающей части, прогон по непересекающимся отрезкам, учёт издержек и проскальзывания.
До пересборки проверку проходили 8 окон из 10, а расхождение с реальной торговлей доходило до 34%. После подтверждение получили 3 окна из 10 — остальные отбраковывались до выхода в рынок, зато расхождение упало до 7%, а полный цикл пересчёта сократился с шести часов до сорока минут.
Что делать, если стратегия уже торгует на реальном счёте
Если стратегия уже торгует на реальном счёте, останавливать её ради проверки не нужно и рискованно: пауза рвёт накопленную статистику и оставляет открытые позиции без управления. Контур walk-forward анализа ставится рядом с боевой системой и работает на том же потоке рыночных данных, не отправляя ни одной заявки. Живой счёт при этом продолжает торговать в обычном режиме.
Первый этап — теневые прогоны. Проверяемая версия получает те же котировки и те же задержки исполнения, что и работающая, но её решения только записываются в журнал. За несколько недель набирается выборка сделок, которую можно сопоставить с тем, что сделала бы новая логика на том же отрезке рынка.
Сверка с историей закрывает вторую половину задачи. Мы прогоняем walk-forward по прошлым окнам и сравниваем не итоговую доходность, а распределение: долю прибыльных сделок, среднюю и максимальную просадку, время удержания, поведение на спокойных и волатильных участках. Расхождение с живой торговлей выше заданного порога почти всегда означает смещение в модели — подглядывание в будущее при расчёте признаков или разницу в источнике данных.
Внедрение без остановки идёт ступенями: теневая копия, затем параллельный счёт с минимальным объёмом, потом перевод доли капитала и полный. На каждой ступени заранее задан критерий отката: если метрики расходятся с ожидаемыми, версия снимается, а рабочий счёт продолжает торговать. Проверка не создаёт простоя и не требует временно уходить с рынка.
Технические сомнения: данные, режимы и устойчивость
Инженерные сомнения по walk-forward анализу обычно касаются не самого метода, а входа: качество данных, длина окна, повторяемость прогона. Ниже — ответы на вопросы, которые всплывают при проектировании стенда, до написания первой строки логики.
Как обрабатываем пропуски в котировках?
Делим по природе: календарные пропуски, разрывы ликвидности, сбои источника. Свечи не интерполируем — восстановленная цена на рынке не существовала и завышает метрики. Бар получает флаг качества, стратегия пропускает его или закрывает позицию по правилу из конфига, одинаковому на обучении и на отложенном участке.
Как выбираем горизонт проверки?
Привязываем к числу независимых окон, а не к длине истории. Окно накрывает полный цикл смены режима, иначе оценка ловит одну фазу. Берём 8–12 последовательных окон: обучение на одном, проверка на следующем, шаг вперёд. Так видно, деградирует стратегия или держится.
Что с воспроизводимостью результатов?
Фиксируем снимок данных с контрольной суммой, параметры, зерно генератора и версии зависимостей; прогон идёт в изолированном окружении. Отчёт собирается только из этих входных, поэтому повторный запуск даёт ту же кривую, а расхождение объясняется конкретным изменением.
Как учитываем смену режима рынка?
Скользящее окно переобучает модель на свежих данных — этим walk-forward анализ и отличается от единственной проверки на всей истории. Метрики считаем по режимам отдельно: тренд, боковик, высокая волатильность. Видно, где стратегия ломается и какой запас прочности нужен.
Обсудим вашу задачу: соберём контур проверки под ваши данные
Оценка задачи по walk-forward анализу начинается с исходных данных, а не с общих пожеланий: по ним видно, какой контур проверки вообще имеет смысл собирать. Опишите, как формируется сигнал, на какой истории он проверяется, с какой частотой поступают данные и какие издержки исполнения вы закладываете. Этого достаточно, чтобы разбор задачи занял один разговор, а не переписку на неделю.
Что прислать вместе с описанием:
- выгрузку истории — сделки, котировки или признаки, в том виде, в котором они есть у вас;
- правила входа и выхода и список параметров, которые вы перебираете;
- текущую схему проверки: обучающее и тестовое окно, шаг сдвига, число прогонов;
- метрики решения — доходность, просадка, доля прибыльных периодов;
- ограничения: задержка исполнения, комиссии, лимиты по объёму, запрет на короткие позиции;
- как фиксируются результаты прогонов и сравниваются между собой конфигурации.
Дальше возвращаемся с оценкой и планом работ: этапы, сроки по каждому этапу, состав контура — генератор окон, правила отбора параметров, отчёт по устойчивости и протокол воспроизведения прогонов. Если по ходу разбора видно, что данных не хватает или постановка ведёт к переобучению, скажем об этом до старта, а не в середине работ.
