Разработка AI-системы для прогнозирования спроса

Ручное прогнозирование спроса в Excel приводит к MAPE 20-30%. Для ритейлера с 50 000 SKU это выливается в потери миллионов рублей ежемесячно из-за write-offs или дефицита. Мы автоматизируем ML-пайплайны, снижающие ошибку до 8-12% за счёт промо-моделирования, иерархического согласования и автоматического feature engineering. Независимо от вертикали — производство, FMCG, e-commerce или услуги — ключевые проблемы одинаковы: качество данных, промо-эффекты и масштабирование. Наши решения адаптированы под специфику бизнеса: для ритейла — короткие горизонты и промо-лифты, для производства — долгосрочные прогнозы и учёт макроиндикаторов. Снижение MAPE с 20% до 8% позволяет сократить write-offs на 15-20 млн рублей в год для сети из 500 магазинов. Экономия на логистических издержках достигает 10-12 млн рублей. Частая ошибка — игнорирование промо-календаря и сезонных паттернов, что приводит к перекосам прогнозов. Мы используем автоматический подбор признаков и ансамбли моделей для повышения робастности.

Специфика задачи по вертикали

Производство

Горизонт 3-6 месяцев из-за lead time, ключевой KPI — точность для планирования сырья. Данные: исторические заказы, макроиндикаторы.

FMCG / Ритейл

Горизонт 1-4 недели, промо-лифты до +300%. Разделение baseline demand и incremental — основная сложность.

E-commerce

Горизонт 1-7 дней, SKU-уровень, экстремальная сезонность (Black Friday). Требуются глобальные модели для 100 000+ SKU.

Услуги

Нет физического запаса, но есть мощности (операторы КЦ, серверы). Прогнозируется нагрузка, а не товар.

Как ML-модели справляются с промо-эффектами?

Промо — крупнейший источник ошибок. Декомпозиция Total Demand = Baseline + Incremental Lift позволяет моделировать лифт отдельно. Пример: LightGBM регрессор для лифта принимает фичи discount_pct, mechanic, display_flag, brand_strength и выдаёт коэффициент — например, 1.85 (+85%). Кросс-SKU эффекты (cannibalization и halo) корректируют прогнозы по всей категории через матрицу cross-elasticities. LightGBM превосходит Prophet в 1.15-1.2 раза по MAPE для краткосрочных прогнозов с промо-акциями.

lift_features = {
    'discount_pct': 20.0,
    'mechanic': '2+1',
    'display_flag': 1,
    'leaflet_flag': 0,
    'competitor_promo': 0,
    'category': 'soft_drinks',
    'brand_strength': 0.8,
    'seasonality_index': 1.2
}
predicted_lift = lift_model.predict([lift_features])

Почему иерархическое прогнозирование критично для 10 000 SKU?

Иерархия: Total → Category → Brand → SKU → Location. Ручное согласование 500 000 прогнозов ежедневно невозможно. MinT (Minimum Trace) даёт несмещённые оценки на всех уровнях. Сравнение методов:

Мы используем гибрид: статистические методы для длинных горизонтов и ML для коротких, агрегируя через MinT.

New Product Introduction (NPI)

Новые SKU без истории — частая боль. Три подхода:

• Аналог-based: прогноз на основе продаж похожих продуктов при запуске.
• Attribute-based: регрессия на характеристики (бренд, категория, цена).
• Bayesian prior: начальный прогноз = аналог, обновляется по первым продажам.

Архитектура системы прогнозирования

Data Sources → Feature Engineering → Model Training → Forecast → Activation

Data Sources:
├── Internal: ERP sales, WMS, CRM
├── External: macro data, weather, search trends
└── Promotional: trade calendar, planned campaigns

Feature Engineering (dbt / Spark):
├── Temporal lags: t-1, t-7, t-28, t-52 (weeks)
├── Rolling aggregations: 4w, 13w, 52w
├── Promotional features: lift estimation, channel flags
└── External features: weather index, macro indicators

Model Training (MLflow):
├── Baseline: Seasonal Naive, ETS
├── Statistical: Prophet, SARIMA
├── ML: LightGBM, DeepAR
└── Ensemble: Stacking / Weighted Average

Forecast Generation:
└── Hierarchical reconciliation → SKU × Location prognoses

Как построить baseline прогноз для новых SKU?

1. Соберите данные о стартах аналогичных SKU за последние 2 года.
2. Выделите атрибуты: бренд, категория, ценовой сегмент, сезон запуска.
3. Постройте регрессионную модель для предсказания первых 4 недель продаж.
4. Используйте Bayesian update: каждую неделю корректируйте прогноз на основе фактических продаж.

Этот подход даёт точность старта WMAPE 15-18% против 30% при наивной средней.

Интеграция и активация прогнозов

Система экспортирует прогнозы в S&OP (SAP IBP, Anaplan) через API и генерирует purchase orders для VMI. Accuracy tracking: 1 - WMAPE на дашборде. Мы гарантируем прозрачность: model card, SHAP-отчёты, документация пайплайна. Благодаря точности прогнозов наши клиенты сокращают издержки хранения на 20-30%.

Что входит в работу (deliverables)

• Аудит источников данных и очистка.
• Feature engineering pipeline (dbt/Spark).
• Обучение и валидация модели (MLflow).
• Документация архитектуры и model card.
• Интеграция с ERP/S&OP через API.
• Обучение команды и поддержка 3 месяца.

Оценим ваш проект за 2-3 дня — свяжитесь с нами. Опыт 5+ лет, 30+ внедрённых demand forecasting систем для ритейла и производства. Типовые сроки: базовая система с LightGBM для 1000+ SKU — 6-8 недель, полноценная иерархическая система с NPI и reconciliation — 4-6 месяцев. Получите консультацию, чтобы обсудить детали.

Какие проблемы прогнозирования временных рядов встречаются чаще всего?

Финансовый директор запрашивает прогнозирование временных рядов продаж на квартал. Аналитик строит SARIMA, добивается MAPE 8.3% на тестовой выборке — и с гордостью деплоит. Через два месяца в production метрика падает до 23%. Причина классическая: модель обучалась на данных до COVID, тестировалась на стабильном периоде, а production попал на промо-акцию и сбой поставок. Data leakage + distribution shift = красивые цифры в ноутбуке и неработающий прогноз в реальности. Мы сталкивались с этим десятки раз. Наш опыт — 5+ лет в прогнозировании временных рядов для ритейла, финтеха и IoT, более 50 завершённых проектов.

Неправильная кросс-валидация. Стандартный train_test_split для временных рядов — ошибка. Случайное разбиение создаёт data leakage: модель видит «будущие» значения в обучении. Правильно — TimeSeriesSplit или walk-forward validation с expanding window.

Множественная сезонность. Почасовые данные потребления электроэнергии имеют три сезонности: суточную (24 ч), недельную (168 ч), годовую (8760 ч). SARIMA справляется только с одной. Prophet обрабатывает несколько, но медленно масштабируется на тысячи рядов.

Пропуски и аномалии в данных. Пропуск в сенсорных данных — это информация (датчик отключился), а не просто NaN. Линейная интерполяция убивает этот сигнал. Правильная обработка зависит от природы пропуска.

Cold start при иерархическом прогнозировании. Новый SKU в ассортименте из 50 000 позиций: исторических данных нет, нужен прогноз. Стандартные подходы тут не работают — нужны cross-learning подходы или feature-based методы.

Какие инструменты и когда применять?

Prophet (Meta) — отличный старт для бизнес-данных с понятной сезонностью и праздниками. Быстро настраивается, интерпретируем, встроенная обработка выбросов и пропусков. Падает в точности при нерегулярных паттернах и не масштабируется на десятки тысяч рядов без параллелизации. Prophet (Facebook) — официальная документация.

Gradient boosting на фичах (LightGBM, XGBoost) — часто недооценённый подход. Создаёте фичи вручную: лаги (t-1, t-7, t-28), скользящие средние, категориальные признаки (день недели, месяц), экзогенные переменные. Модель обучается на всех рядах одновременно — решает cold start через похожие ряды. MAPE на ритейл-прогнозировании часто лучше нейронных сетей при правильной feature engineering.

TFT (Temporal Fusion Transformer) — трансформер, специально разработанный для интерпретируемого прогнозирования с ковариатами. Встроенные механизмы: variable selection (какие признаки важны), temporal self-attention (какие временные точки влияют на прогноз), квантильные предсказания. Доступен в pytorch-forecasting. Требует ~10 000+ записей на ряд для стабильного обучения. Temporal Fusion Transformer — академическая публикация.

PatchTST — трансформер, который делит временной ряд на патчи (аналогично ViT для изображений). Лучше захватывает локальные паттерны, чем классические трансформеры. Хорошо работает для long-horizon forecasting (прогноз на 96–720 шагов). Реализация в neuralforecast от Nixtla.

N-HiTS, N-BEATS — нейронные архитектуры без attention, быстрее TFT, конкурентная точность. N-BEATS выигрывает на M4/M5 benchmark для задач без ковариат.

Как мы разворачиваем TFT в production?

TFT требует тщательной подготовки данных. Типичный пайплайн через pytorch-forecasting:

training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="sales",
    group_ids=["store", "sku"],
    min_encoder_length=max_encoder_length // 2,
    max_encoder_length=max_encoder_length,  # 120 дней
    min_prediction_length=1,
    max_prediction_length=max_prediction_length,  # 28 дней
    static_categoricals=["store_type", "category"],
    time_varying_known_reals=["price", "promo_flag"],
    time_varying_unknown_reals=["sales"],
    target_normalizer=GroupNormalizer(groups=["store", "sku"], transformation="softplus"),
)

Частая ошибка: target_normalizer по умолчанию (StandardScaler) ломает предсказания для рядов с нулевыми значениями (нет продаж в выходные). GroupNormalizer с transformation="softplus" — правильный выбор для count-данных.

Пошаговая инструкция по настройке TFT

1. Сбор и подготовка данных. Обработать пропуски (маркировать NaN, интерполировать только если это технический сбой), агрегировать до нужной частоты, сформировать ковариаты (праздники, промо, цены).
2. Создание TimeSeriesDataSet. Указать group_ids (например, магазин+SKU), временной индекс, горизонт прогноза. Настроить target_normalizer с учётом распределения таргета.
3. Обучение baseline. Сначала Prophet или LightGBM — чтобы понять, насколько сложнее задача.
4. Тренировка TFT. Запустить TemporalFusionTransformer с loss=QuantileLoss(), подобрать learning rate и размеры hidden слоёв. Использовать pytorch_forecasting или neuralforecast.
5. Валидация и интерпретация. Проверить walk-forward, проанализировать variable selection, построить attention heatmap.

Кейс: прогноз спроса в ритейле. Сеть из 120 магазинов, 8000 SKU, горизонт прогноза 28 дней. Исходная система: SARIMA отдельно для каждого ряда, MAPE 18.4%, полный цикл переобучения — 6 часов. TFT на PyTorch + pytorch-forecasting: одна модель на все ряды, MAPE 11.2%, переобучение — 40 мин на A10G. Дополнительный бонус: feature importance через variable selection — выяснилось, что day_before_holiday влияет сильнее, чем сама дата праздника. Средняя экономия бюджета на инференсе для клиента составила 1.5 млн ₽ в год.

Как правильно оценивать качество прогнозов?

Не используйте RMSE как единственную метрику — она сильно штрафует за большие ошибки на больших значениях. Наш набор метрик для ритейл-прогнозирования:

• MAPE — интерпретируема, но нестабильна при значениях близких к нулю
• sMAPE — симметричная версия, избегает деления на маленькие числа
• MASE (Mean Absolute Scaled Error) — нормализован относительно наивного сезонного прогноза, отлично подходит для сравнения между рядами с разными масштабами
• Quantile loss / Pinball loss — для вероятностного прогнозирования, оценка покрытия интервалов

Гарантируем: мы предоставляем model card с этими метриками на валидационной выборке и результаты walk-forward теста на истории не менее 6 месяцев.

Что входит в работу

• Документация по выбранной архитектуре, обоснование выбора гиперпараметров.
• Воспроизводимый пайплайн обучения и инференса (Docker + CI/CD + Airflow/Prefect).
• Код с комментариями и модульными тестами на ключевые компоненты.
• Обучение вашей команды: как переобучать модель, как интерпретировать выходы, как деплоить новые версии.
• Поддержка в течение 3 месяцев после сдачи: консультации, фиксы багов, донастройка.

Процесс работы

Начинаем с EDA: визуализация, тест ADF на стационарность, STL-декомпозиция, анализ пропусков и выбросов. Это 2–3 дня, но часто выявляет системные проблемы данных, которые блокируют прогнозирование.

Затем: baseline (наивный seasonal, Prophet), feature engineering для LGBM, выбор архитектуры нейронной сети если нужно. Walk-forward validation с реалистичным горизонтом. Деплой через API с автоматическим переобучением по расписанию через Airflow или Prefect.

Сроки ориентировочно: MVP-прогноз на одном типе данных — 3–6 недель. Иерархическая система прогнозирования с автоматизацией — 2–5 месяцев. Стоимость рассчитывается индивидуально.

Наша команда — сертифицированные ML-инженеры (AWS ML Specialty, GCP Professional ML Engineer). За 5 лет на рынке реализовали более 50 проектов по прогнозированию. Свяжитесь с нами для бесплатного анализа ваших данных — мы оценим задачу и дадим первые рекомендации за 1–2 дня. Закажите консультацию и убедитесь, что ваши прогнозы работают в production, а не только в ноутбуке.