LSTM для финансовых временных рядов: архитектура и валидация

LSTM для финансовых временных рядов: архитектура и валидация

Представьте: вы обучили LSTM на пяти годах дневок, получили accuracy 68% на тесте. В продакшене модель показывает 49% — хуже случайного. Типичная ошибка: data leakage при нормализации или неправильная валидация. Мы развернём production-ready архитектуру LSTM для финансовых временных рядов на основе реальных проектов с multi-asset портфелями и walk-forward валидацией. Наша команда имеет 10+ лет опыта в AI/ML для финансов, реализовала 30+ моделей для хедж-фондов и брокеров. Гарантируем отсутствие lookahead bias и воспроизводимость экспериментов. Используем PyTorch и Hugging Face Transformers, обучаем на кластере GPU A100, мониторим через MLflow и Weights & Biases. Оптимизация гиперпараметров проводится с помощью Optuna, валидация — строгая walk-forward с embargo-периодом, чтобы исключить утечку. Результат: стабильный Information Coefficient (IC) > 0.05 и ICIR > 1.5 на аут-оф-семпл тесте. Стоимость разработки зависит от сложности модели и объёма данных — финальная цена обсуждается после анализа. Ориентировочная длительность single-asset решения — от 2 до 3 недель работы команды, multi-asset с attention — от 8 до 10 недель.

Почему LSTM, а не градиентный бустинг?

LSTM выигрывает, когда последовательность событий важнее агрегатов, а нелинейные временные паттерны явно выражены. LightGBM с лаговыми фичами часто обходит LSTM на малых датасетах (<10 000 наблюдений). Но на многомерных рядах (несколько инструментов одновременно) и сложных cross-asset зависимостях LSTM даёт преимущество. Архитектура впервые описана в статье Long Short-Term Memory (Hochreiter & Schmidhuber). LSTM — базовая архитектура.

Архитектура модели

import torch
import torch.nn as nn

class FinancialLSTM(nn.Module):
    def __init__(self, input_size, hidden_size=128, num_layers=2, dropout=0.2):
        super().__init__()
        self.lstm = nn.LSTM(
            input_size=input_size,
            hidden_size=hidden_size,
            num_layers=num_layers,
            batch_first=True,
            dropout=dropout
        )
        self.attention = nn.MultiheadAttention(hidden_size, num_heads=8)
        self.fc = nn.Linear(hidden_size, 1)
        self.dropout = nn.Dropout(dropout)

    def forward(self, x):
        lstm_out, _ = self.lstm(x)  # [batch, seq_len, hidden]
        # Self-attention по временному измерению
        attn_out, _ = self.attention(lstm_out, lstm_out, lstm_out)
        # Последний шаг или attention-weighted pool
        out = self.fc(self.dropout(attn_out[:, -1, :]))
        return out

Входные данные (seq_len × n_features): OHLCV, нормированные по скользящему окну, технические индикаторы (RSI, MACD, ATR, Bollinger). Для multi-asset — конкатенация по feature dimension. Реализация доступна в PyTorch LSTM.

Предобработка и нормализация

Критически важно: нормализация без lookahead bias. Используем нормализацию в rolling окне:

def rolling_normalize(X, window=252):
    mu = X.rolling(window).mean()
    sigma = X.rolling(window).std()
    return (X - mu) / (sigma + 1e-8)

Price returns вместо цен: сырые цены нестационарны, log returns стационарны:

returns = np.log(prices / prices.shift(1)).dropna()

Sequence generation:

def create_sequences(data, seq_len=60, horizon=5):
    X, y = [], []
    for i in range(len(data) - seq_len - horizon):
        X.append(data[i:i+seq_len])
        y.append(data[i+seq_len+horizon-1, 0])
    return np.array(X), np.array(y)

Обучение и регуляризация

Как настроить гиперпараметры для финансовых LSTM?

Sequence length: 20–60 дней для дневных данных, 50–200 для часовых. Hidden size: 64–256. Layers: 2–3 (глубже обычно хуже на финансовых данных). Dropout: 0.1–0.4. Batch size: 32–128. Регуляризация: temporal dropout, feature noise, L2 weight decay (1e-4 to 1e-3). Оптимизатор: AdamW с cosine annealing LR scheduler. Ранняя остановка по validation loss на 20% holdout.

Для портфеля из N инструментов применяем Cross-sectional LSTM с параллельной обработкой всех инструментов и cross-attention между ними, чтобы захватить корреляционные паттерны (нефть → нефтяные акции, DXY → EM активы).

Валидация без data leakage

Walk-forward с embargo:

embargo_size = horizon
train_end = int(0.6 * len(data))
embargo_end = train_end + embargo_size
val_end = int(0.8 * len(data))

Метрики: Directional Accuracy, Information Coefficient (spearman correlation), ICIR (IC / std(IC) — стабильность; ICIR > 1.5 считается хорошим).

Сравнение методов нормализации

LSTM vs Transformer для финансов

Для коротких последовательностей (< 100 шагов) LSTM часто не уступает Transformer при значительно меньших требованиях к данным.

Что входит в работу

• Baseline модель single-asset с построением pipeline и документацией
• Multi-asset архитектура с cross-attention и walk-forward валидацией
• Оптимизация гиперпараметров (Optuna) с логами в MLflow
• Деплой в Docker с Triton Inference Server и мониторингом в Prometheus
• Обучение команды эксплуатации и передача model card

Каждый этап сопровождается отчётами и комментариями в коде. Мы не просто отдаём веса — мы передаём воспроизводимый эксперимент.

Процесс работы и сроки

• Аналитика — сбор и визуализация данных, определение горизонта прогноза.
• Проектирование — выбор архитектуры (LSTM/Transformer, single/multi-asset).
• Реализация — написание pipeline, обучение baseline, оптимизация.
• Тест — walk-forward валидация, стресс-тестирование на аномалиях.
• Деплой — упаковка в Docker, развёртывание на GPU-сервере, мониторинг.

Сроки: single-asset baseline — от 2 до 3 недель; multi-asset модель с attention и production pipeline — от 8 до 10 недель. Стоимость рассчитывается индивидуально.

Закажите консультацию для предварительной оценки вашего датасета — мы проанализируем его за 1–2 дня. Свяжитесь с нами, чтобы обсудить архитектуру модели и сроки.

Какие проблемы прогнозирования временных рядов встречаются чаще всего?

Финансовый директор запрашивает прогнозирование временных рядов продаж на квартал. Аналитик строит SARIMA, добивается MAPE 8.3% на тестовой выборке — и с гордостью деплоит. Через два месяца в production метрика падает до 23%. Причина классическая: модель обучалась на данных до COVID, тестировалась на стабильном периоде, а production попал на промо-акцию и сбой поставок. Data leakage + distribution shift = красивые цифры в ноутбуке и неработающий прогноз в реальности. Мы сталкивались с этим десятки раз. Наш опыт — 5+ лет в прогнозировании временных рядов для ритейла, финтеха и IoT, более 50 завершённых проектов.

Неправильная кросс-валидация. Стандартный train_test_split для временных рядов — ошибка. Случайное разбиение создаёт data leakage: модель видит «будущие» значения в обучении. Правильно — TimeSeriesSplit или walk-forward validation с expanding window.

Множественная сезонность. Почасовые данные потребления электроэнергии имеют три сезонности: суточную (24 ч), недельную (168 ч), годовую (8760 ч). SARIMA справляется только с одной. Prophet обрабатывает несколько, но медленно масштабируется на тысячи рядов.

Пропуски и аномалии в данных. Пропуск в сенсорных данных — это информация (датчик отключился), а не просто NaN. Линейная интерполяция убивает этот сигнал. Правильная обработка зависит от природы пропуска.

Cold start при иерархическом прогнозировании. Новый SKU в ассортименте из 50 000 позиций: исторических данных нет, нужен прогноз. Стандартные подходы тут не работают — нужны cross-learning подходы или feature-based методы.

Какие инструменты и когда применять?

Prophet (Meta) — отличный старт для бизнес-данных с понятной сезонностью и праздниками. Быстро настраивается, интерпретируем, встроенная обработка выбросов и пропусков. Падает в точности при нерегулярных паттернах и не масштабируется на десятки тысяч рядов без параллелизации. Prophet (Facebook) — официальная документация.

Gradient boosting на фичах (LightGBM, XGBoost) — часто недооценённый подход. Создаёте фичи вручную: лаги (t-1, t-7, t-28), скользящие средние, категориальные признаки (день недели, месяц), экзогенные переменные. Модель обучается на всех рядах одновременно — решает cold start через похожие ряды. MAPE на ритейл-прогнозировании часто лучше нейронных сетей при правильной feature engineering.

TFT (Temporal Fusion Transformer) — трансформер, специально разработанный для интерпретируемого прогнозирования с ковариатами. Встроенные механизмы: variable selection (какие признаки важны), temporal self-attention (какие временные точки влияют на прогноз), квантильные предсказания. Доступен в pytorch-forecasting. Требует ~10 000+ записей на ряд для стабильного обучения. Temporal Fusion Transformer — академическая публикация.

PatchTST — трансформер, который делит временной ряд на патчи (аналогично ViT для изображений). Лучше захватывает локальные паттерны, чем классические трансформеры. Хорошо работает для long-horizon forecasting (прогноз на 96–720 шагов). Реализация в neuralforecast от Nixtla.

N-HiTS, N-BEATS — нейронные архитектуры без attention, быстрее TFT, конкурентная точность. N-BEATS выигрывает на M4/M5 benchmark для задач без ковариат.

Как мы разворачиваем TFT в production?

TFT требует тщательной подготовки данных. Типичный пайплайн через pytorch-forecasting:

training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="sales",
    group_ids=["store", "sku"],
    min_encoder_length=max_encoder_length // 2,
    max_encoder_length=max_encoder_length,  # 120 дней
    min_prediction_length=1,
    max_prediction_length=max_prediction_length,  # 28 дней
    static_categoricals=["store_type", "category"],
    time_varying_known_reals=["price", "promo_flag"],
    time_varying_unknown_reals=["sales"],
    target_normalizer=GroupNormalizer(groups=["store", "sku"], transformation="softplus"),
)

Частая ошибка: target_normalizer по умолчанию (StandardScaler) ломает предсказания для рядов с нулевыми значениями (нет продаж в выходные). GroupNormalizer с transformation="softplus" — правильный выбор для count-данных.

Пошаговая инструкция по настройке TFT

1. Сбор и подготовка данных. Обработать пропуски (маркировать NaN, интерполировать только если это технический сбой), агрегировать до нужной частоты, сформировать ковариаты (праздники, промо, цены).
2. Создание TimeSeriesDataSet. Указать group_ids (например, магазин+SKU), временной индекс, горизонт прогноза. Настроить target_normalizer с учётом распределения таргета.
3. Обучение baseline. Сначала Prophet или LightGBM — чтобы понять, насколько сложнее задача.
4. Тренировка TFT. Запустить TemporalFusionTransformer с loss=QuantileLoss(), подобрать learning rate и размеры hidden слоёв. Использовать pytorch_forecasting или neuralforecast.
5. Валидация и интерпретация. Проверить walk-forward, проанализировать variable selection, построить attention heatmap.

Кейс: прогноз спроса в ритейле. Сеть из 120 магазинов, 8000 SKU, горизонт прогноза 28 дней. Исходная система: SARIMA отдельно для каждого ряда, MAPE 18.4%, полный цикл переобучения — 6 часов. TFT на PyTorch + pytorch-forecasting: одна модель на все ряды, MAPE 11.2%, переобучение — 40 мин на A10G. Дополнительный бонус: feature importance через variable selection — выяснилось, что day_before_holiday влияет сильнее, чем сама дата праздника. Средняя экономия бюджета на инференсе для клиента составила 1.5 млн ₽ в год.

Как правильно оценивать качество прогнозов?

Не используйте RMSE как единственную метрику — она сильно штрафует за большие ошибки на больших значениях. Наш набор метрик для ритейл-прогнозирования:

• MAPE — интерпретируема, но нестабильна при значениях близких к нулю
• sMAPE — симметричная версия, избегает деления на маленькие числа
• MASE (Mean Absolute Scaled Error) — нормализован относительно наивного сезонного прогноза, отлично подходит для сравнения между рядами с разными масштабами
• Quantile loss / Pinball loss — для вероятностного прогнозирования, оценка покрытия интервалов

Гарантируем: мы предоставляем model card с этими метриками на валидационной выборке и результаты walk-forward теста на истории не менее 6 месяцев.

Что входит в работу

• Документация по выбранной архитектуре, обоснование выбора гиперпараметров.
• Воспроизводимый пайплайн обучения и инференса (Docker + CI/CD + Airflow/Prefect).
• Код с комментариями и модульными тестами на ключевые компоненты.
• Обучение вашей команды: как переобучать модель, как интерпретировать выходы, как деплоить новые версии.
• Поддержка в течение 3 месяцев после сдачи: консультации, фиксы багов, донастройка.

Процесс работы

Начинаем с EDA: визуализация, тест ADF на стационарность, STL-декомпозиция, анализ пропусков и выбросов. Это 2–3 дня, но часто выявляет системные проблемы данных, которые блокируют прогнозирование.

Затем: baseline (наивный seasonal, Prophet), feature engineering для LGBM, выбор архитектуры нейронной сети если нужно. Walk-forward validation с реалистичным горизонтом. Деплой через API с автоматическим переобучением по расписанию через Airflow или Prefect.

Сроки ориентировочно: MVP-прогноз на одном типе данных — 3–6 недель. Иерархическая система прогнозирования с автоматизацией — 2–5 месяцев. Стоимость рассчитывается индивидуально.

Наша команда — сертифицированные ML-инженеры (AWS ML Specialty, GCP Professional ML Engineer). За 5 лет на рынке реализовали более 50 проектов по прогнозированию. Свяжитесь с нами для бесплатного анализа ваших данных — мы оценим задачу и дадим первые рекомендации за 1–2 дня. Закажите консультацию и убедитесь, что ваши прогнозы работают в production, а не только в ноутбуке.