Разработка AI-модели прогнозирования направления тренда под ключ

Часто трейдеры видят запоздалый сигнал от индикаторов. Мы разрабатываем AI-классификаторы направления тренда, которые предсказывают движение цены на несколько дней вперёд. За 5 лет мы реализовали 15+ проектов: от минутных данных для интрадей до дневных для долгосрочных стратегий. Даже точность 52-55% даёт положительное матожидание при правильном управлении рисками. Стоимость разработки окупается за несколько месяцев работы. Экономия от снижения количества ложных сигналов может достигать десятков тысяч рублей в месяц.

Предсказание направления движения цены (бинарная классификация: вверх/вниз) проще, чем точная оценка величины изменения. Поэтому мы фокусируемся на классификаторах, а не регрессии. Наш опыт показывает: стабильный edge достигается за счёт ансамбля моделей и строгого backtesting. Ошибки в предсказании направления ведут к прямым убыткам. Качественная калибровка вероятностей снижает убытки от ложных сигналов.

Постановка как классификационная задача

Таргет (бинарный):

df['target'] = (df['close'].shift(-N) > df['close']).astype(int)
# 1 = цена вырастет за N дней, 0 = упадёт или останется

Проблема несбалансированных классов: рынки часто имеют незначительный bias (например, акции в долгосрочном тренде роста). Мы используем калибровку или балансировку weight.

Альтернативная постановка: 3-классовая (рост / боковик / падение) с зоной неопределённости ±0.2% — позволяет воздерживаться от торговли при неуверенном сигнале.

Почему бинарная классификация эффективнее регрессии?

Регрессия предсказывает величину изменения, что сложнее и шумнее. Бинарный подход снижает дисперсию ошибки и позволяет использовать простые пороговые правила. Мы тестировали оба подхода: классификация стабильнее на out-of-sample.

Feature Engineering

Momentum features (наиболее предсказательные):

• Relative Strength: доходность за 1/3/6/12 месяцев
• Rate of change (ROC): log return за разные горизонты
• Acceleration: изменение momentum (momentum of momentum)

Mean reversion features:

• Deviation from SMA: (Close - SMA_20) / SMA_20
• Bollinger %B: (Close - Lower) / (Upper - Lower)
• RSI: уровни перекупленности/перепроданности

Volatility-adjusted features:

• Sharp/Smooth: ratio volatility на коротком vs. длинном окне
• Price position в N-дневном диапазоне (Williams %R)

Regime features:

• VIX уровень (risk-on / risk-off)
• Market breadth: % акций выше SMA200
• Treasury yield curve slope (10y-2y)

Ensemble модели

Базовые классификаторы:

from sklearn.ensemble import VotingClassifier
from lightgbm import LGBMClassifier
from xgboost import XGBClassifier
from sklearn.linear_model import LogisticRegression

ensemble = VotingClassifier(
    estimators=[
        ('lgbm', LGBMClassifier(n_estimators=300, class_weight='balanced')),
        ('xgb', XGBClassifier(n_estimators=300, scale_pos_weight=ratio)),
        ('lr', LogisticRegression(C=0.1, class_weight='balanced'))
    ],
    voting='soft'  # вероятностное голосование
)

Ensemble стабилизирует pred, снижает overfit. Мы гарантируем, что ансамбль подбирается под конкретный инструмент.

Как избежать переобучения при торговле по сигналам?

Ключевые техники: Combinatorial Purged Cross-Validation (CPCV), регуляризация, мониторинг стабильности. Мы не используем стандартную кросс-валидацию — она даёт смещённые оценки из-за временной зависимости. Метод CPCV исключает look-ahead bias (см. Cross-validation (statistics)).

Калибровка вероятностей

Raw предсказания моделей часто плохо откалиброваны. Для торговых стратегий это важно: предсказанная вероятность 0.6 должна означать реальную частоту 60%.

Плотность сигнала: нас интересует правило торговли: торгуем только при уверенности модели > threshold. Precision-Recall кривая помогает выбрать порог.

from sklearn.calibration import CalibratedClassifierCV
calibrated = CalibratedClassifierCV(ensemble, method='isotonic', cv=3)
calibrated.fit(X_train, y_train)

Управление рисками при торговле по сигналу

Условия торговли:

• P(up) > 0.55: лонг
• P(up) < 0.45: шорт
• 0.45-0.55: нет позиции

Position sizing по уверенности:

Position = (2 × P - 1) × Max_Position_Size × Volatility_Adjustment

Kelly-подобная формула: чем выше P, тем больше позиция.

Stop-loss: при лонге, stop при -2 × ATR(14). Это механический exit, не зависящий от переобучившейся модели.

Метрики и оценка

Backtesting с реальными параметрами:

• Slippage: 0.05-0.1% на исполнение
• Комиссия: 0.02-0.05% per side
• Финансирование для шорта: annual rate / 365 per day

После учёта TC модель должна показывать Sharpe > 0.8 на out-of-sample для рассмотрения.

Распространённые ловушки:

• Overfitting к историческим паттернам: CPCV помогает
• Нестабильность: переобучившаяся модель деградирует за 1-3 месяца
• Regime change: модель, обученная на боковике, разрушается при трендовом рынке

Что входит в работу

• Документация модели (features, архитектура, метрики)
• API для получения предсказаний (REST/WebSocket)
• Monitoring dashboard (скользящая точность, drift detection)
• Обучение команды использованию модели
• Поддержка 3 месяца после деплоя

Оцените ваш проект: свяжитесь с нами для консультации. Закажите разработку под ключ — от сбора данных до продакшн-эксплуатации, получите консультацию по оптимизации стратегии.

Мы работаем на рынке AI-решений более 5 лет, реализовали 15+ проектов в трейдинге и финансовом моделировании. Опыт команды подтверждается сертификатами ведущих ML-платформ.

Сроки: baseline модель с momentum features — 3-4 недели. Полноценная система с ensemble, calibration, backtesting и мониторингом — 8-12 недель.

Какие проблемы прогнозирования временных рядов встречаются чаще всего?

Финансовый директор запрашивает прогнозирование временных рядов продаж на квартал. Аналитик строит SARIMA, добивается MAPE 8.3% на тестовой выборке — и с гордостью деплоит. Через два месяца в production метрика падает до 23%. Причина классическая: модель обучалась на данных до COVID, тестировалась на стабильном периоде, а production попал на промо-акцию и сбой поставок. Data leakage + distribution shift = красивые цифры в ноутбуке и неработающий прогноз в реальности. Мы сталкивались с этим десятки раз. Наш опыт — 5+ лет в прогнозировании временных рядов для ритейла, финтеха и IoT, более 50 завершённых проектов.

Неправильная кросс-валидация. Стандартный train_test_split для временных рядов — ошибка. Случайное разбиение создаёт data leakage: модель видит «будущие» значения в обучении. Правильно — TimeSeriesSplit или walk-forward validation с expanding window.

Множественная сезонность. Почасовые данные потребления электроэнергии имеют три сезонности: суточную (24 ч), недельную (168 ч), годовую (8760 ч). SARIMA справляется только с одной. Prophet обрабатывает несколько, но медленно масштабируется на тысячи рядов.

Пропуски и аномалии в данных. Пропуск в сенсорных данных — это информация (датчик отключился), а не просто NaN. Линейная интерполяция убивает этот сигнал. Правильная обработка зависит от природы пропуска.

Cold start при иерархическом прогнозировании. Новый SKU в ассортименте из 50 000 позиций: исторических данных нет, нужен прогноз. Стандартные подходы тут не работают — нужны cross-learning подходы или feature-based методы.

Какие инструменты и когда применять?

Prophet (Meta) — отличный старт для бизнес-данных с понятной сезонностью и праздниками. Быстро настраивается, интерпретируем, встроенная обработка выбросов и пропусков. Падает в точности при нерегулярных паттернах и не масштабируется на десятки тысяч рядов без параллелизации. Prophet (Facebook) — официальная документация.

Gradient boosting на фичах (LightGBM, XGBoost) — часто недооценённый подход. Создаёте фичи вручную: лаги (t-1, t-7, t-28), скользящие средние, категориальные признаки (день недели, месяц), экзогенные переменные. Модель обучается на всех рядах одновременно — решает cold start через похожие ряды. MAPE на ритейл-прогнозировании часто лучше нейронных сетей при правильной feature engineering.

TFT (Temporal Fusion Transformer) — трансформер, специально разработанный для интерпретируемого прогнозирования с ковариатами. Встроенные механизмы: variable selection (какие признаки важны), temporal self-attention (какие временные точки влияют на прогноз), квантильные предсказания. Доступен в pytorch-forecasting. Требует ~10 000+ записей на ряд для стабильного обучения. Temporal Fusion Transformer — академическая публикация.

PatchTST — трансформер, который делит временной ряд на патчи (аналогично ViT для изображений). Лучше захватывает локальные паттерны, чем классические трансформеры. Хорошо работает для long-horizon forecasting (прогноз на 96–720 шагов). Реализация в neuralforecast от Nixtla.

N-HiTS, N-BEATS — нейронные архитектуры без attention, быстрее TFT, конкурентная точность. N-BEATS выигрывает на M4/M5 benchmark для задач без ковариат.

Как мы разворачиваем TFT в production?

TFT требует тщательной подготовки данных. Типичный пайплайн через pytorch-forecasting:

training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="sales",
    group_ids=["store", "sku"],
    min_encoder_length=max_encoder_length // 2,
    max_encoder_length=max_encoder_length,  # 120 дней
    min_prediction_length=1,
    max_prediction_length=max_prediction_length,  # 28 дней
    static_categoricals=["store_type", "category"],
    time_varying_known_reals=["price", "promo_flag"],
    time_varying_unknown_reals=["sales"],
    target_normalizer=GroupNormalizer(groups=["store", "sku"], transformation="softplus"),
)

Частая ошибка: target_normalizer по умолчанию (StandardScaler) ломает предсказания для рядов с нулевыми значениями (нет продаж в выходные). GroupNormalizer с transformation="softplus" — правильный выбор для count-данных.

Пошаговая инструкция по настройке TFT

1. Сбор и подготовка данных. Обработать пропуски (маркировать NaN, интерполировать только если это технический сбой), агрегировать до нужной частоты, сформировать ковариаты (праздники, промо, цены).
2. Создание TimeSeriesDataSet. Указать group_ids (например, магазин+SKU), временной индекс, горизонт прогноза. Настроить target_normalizer с учётом распределения таргета.
3. Обучение baseline. Сначала Prophet или LightGBM — чтобы понять, насколько сложнее задача.
4. Тренировка TFT. Запустить TemporalFusionTransformer с loss=QuantileLoss(), подобрать learning rate и размеры hidden слоёв. Использовать pytorch_forecasting или neuralforecast.
5. Валидация и интерпретация. Проверить walk-forward, проанализировать variable selection, построить attention heatmap.

Кейс: прогноз спроса в ритейле. Сеть из 120 магазинов, 8000 SKU, горизонт прогноза 28 дней. Исходная система: SARIMA отдельно для каждого ряда, MAPE 18.4%, полный цикл переобучения — 6 часов. TFT на PyTorch + pytorch-forecasting: одна модель на все ряды, MAPE 11.2%, переобучение — 40 мин на A10G. Дополнительный бонус: feature importance через variable selection — выяснилось, что day_before_holiday влияет сильнее, чем сама дата праздника. Средняя экономия бюджета на инференсе для клиента составила 1.5 млн ₽ в год.

Как правильно оценивать качество прогнозов?

Не используйте RMSE как единственную метрику — она сильно штрафует за большие ошибки на больших значениях. Наш набор метрик для ритейл-прогнозирования:

• MAPE — интерпретируема, но нестабильна при значениях близких к нулю
• sMAPE — симметричная версия, избегает деления на маленькие числа
• MASE (Mean Absolute Scaled Error) — нормализован относительно наивного сезонного прогноза, отлично подходит для сравнения между рядами с разными масштабами
• Quantile loss / Pinball loss — для вероятностного прогнозирования, оценка покрытия интервалов

Гарантируем: мы предоставляем model card с этими метриками на валидационной выборке и результаты walk-forward теста на истории не менее 6 месяцев.

Что входит в работу

• Документация по выбранной архитектуре, обоснование выбора гиперпараметров.
• Воспроизводимый пайплайн обучения и инференса (Docker + CI/CD + Airflow/Prefect).
• Код с комментариями и модульными тестами на ключевые компоненты.
• Обучение вашей команды: как переобучать модель, как интерпретировать выходы, как деплоить новые версии.
• Поддержка в течение 3 месяцев после сдачи: консультации, фиксы багов, донастройка.

Процесс работы

Начинаем с EDA: визуализация, тест ADF на стационарность, STL-декомпозиция, анализ пропусков и выбросов. Это 2–3 дня, но часто выявляет системные проблемы данных, которые блокируют прогнозирование.

Затем: baseline (наивный seasonal, Prophet), feature engineering для LGBM, выбор архитектуры нейронной сети если нужно. Walk-forward validation с реалистичным горизонтом. Деплой через API с автоматическим переобучением по расписанию через Airflow или Prefect.

Сроки ориентировочно: MVP-прогноз на одном типе данных — 3–6 недель. Иерархическая система прогнозирования с автоматизацией — 2–5 месяцев. Стоимость рассчитывается индивидуально.

Наша команда — сертифицированные ML-инженеры (AWS ML Specialty, GCP Professional ML Engineer). За 5 лет на рынке реализовали более 50 проектов по прогнозированию. Свяжитесь с нами для бесплатного анализа ваших данных — мы оценим задачу и дадим первые рекомендации за 1–2 дня. Закажите консультацию и убедитесь, что ваши прогнозы работают в production, а не только в ноутбуке.