Разработка AI Demand Planning системы для цепей поставок

Demand Planning — процесс, от которого зависят закупки, производство и логистика. Традиционный S&OP цикл занимает 4 недели, а прогнозы обновляются раз в месяц. К моменту утверждения они часто расходятся с реальностью. AI заменяет этот каскад на continuous sensing: прогнозы обновляются ежедневно, аномалии выявляются автоматически, а плановик получает рекомендации вместо пустой таблицы.

Мы разрабатываем системы под ключ — с адаптацией под ваш стек и бизнес-процессы. Применяем LightGBM и Temporal Fusion Transformer — модели, которые учитывают сотни признаков: промо, сезонность, внешние сигналы. На 30+ проектах в FMCG и retail мы добились MAPE 8–12% на оперативных горизонтах, что на 40% точнее классических методов.

Какие проблемы решает AI Demand Planning?

Одна из частых проблем — отсутствие единого прогноза: отдел продаж даёт оптимистичный план, маркетинг — на основе промо, а производство опирается на историю. AI объединяет все сигналы в консенсус-прогноз с автоматическим взвешиванием по точности каждого источника. AI Demand Planning включает S&OP автоматизацию и иерархическое прогнозирование для согласования уровней.

Другая проблема — ручное управление исключениями. Из 10 000 SKU плановик физически не может контролировать каждый. AI приоритизирует: прогноз изменился более чем на X%, accuracy упала ниже порога, крупная промо без корректировки, риск дефицита. Exception workbench сводит ревью к 50–200 исключениям в неделю.

Почему AI-прогнозирование спроса лучше традиционного S&OP?

Классический S&OP цикл занимает 4 недели: неделя Demand Review, Supply Review, Pre-S&OP и Executive S&OP. Прогнозы обновляются раз в месяц, часто устаревая к моменту утверждения. AI заменяет этот каскад на continuous sensing and responding:

• Прогнозы обновляются ежедневно по мере поступления данных.
• Автоматическая идентификация аномалий и gap.
• Рекомендации вместо пустой таблицы на совещании.

LightGBM даёт MAPE 8–12% на оперативных горизонтах — это на 40% точнее, чем классический ARIMA (15–20%).

Как формируется консенсус-прогноз?

Данные для формирования консенсуса включают три уровня:

• Statistical baseline: количественная модель на исторических продажах.
• Market intelligence: качественные входы от команды продаж:
  • Новые крупные сделки в pipeline (CRM).
  • Планируемые промо и листовки.
  • Изменения конкурентной среды.
• External signals:
  • Sell-out данные (для производителей): реальные продажи из магазинов.
  • Panel data (Nielsen, GfK): рыночные доли, ценовая эластичность.
  • Google Trends, social media mentions.

Автоматическое взвешивание:

def consensus_forecast(statistical, sales_input, external, weights=None):
    """
    Автоматическое взвешивание по исторической точности каждого источника
    """
    if weights is None:
        weights = calculate_historical_accuracy_weights(
            statistical_history, sales_history, external_history
        )
    return (weights[0] * statistical + weights[1] * sales_input +
            weights[2] * external)

Multi-horizon forecasting

Demand Planning требует прогнозов на разных горизонтах одновременно:

Важно: все горизонты должны быть согласованы. Reconciliation как в иерархическом прогнозировании, но по временной оси.

Как работает Demand Sensing?

Demand Sensing — краткосрочное (1–2 недели) уточнение прогноза по высокочастотным сигналам:

Сигналы:

• Sell-out данные от key retailers (EDI 852 / retailer portal).
• POS данные от собственных магазинов (near real-time).
• Online search volume (Google Trends API).
• Social media mentions.

Модель: regression на sell-out отклонения от базового прогноза. Если последние 3 дня sell-out на 15% выше прогноза → скорректировать 2-недельный прогноз вверх на 8%.

Что входит в разработку AI Demand Planning системы?

Мы поставляем законченное решение:

• ML-модели (LightGBM, TFT) с автоматическим ретрейнингом.
• Exception workbench — один экран для работы с 50–200 исключениями вместо 10 000 SKU.
• Интеграция с вашей ERP (SAP, Oracle, 1C) через EDI или API.
• CPFR-модуль для обмена прогнозами с ритейлерами (Walmart Retail Link, Target POD).
• S&OP дашборд с метриками Forecast Value Added (FVA), Bias, Plan Adherence.
• Документация, обучение команды и 3 месяца сопровождения.

Как мы работаем

1. Аналитика: сбор данных, аудит текущего процесса, определение целевых метрик (MAPE, Bias).
2. Проектирование: выбор архитектуры моделей, согласование точек интеграции.
3. Реализация: обучение моделей, разработка exception workbench, настройка пайплайнов данных.
4. Тестирование: A/B-тест против текущих прогнозов, валидация на отложенной выборке.
5. Деплой: контейнеризация (Docker, Kubernetes), развертывание в вашем облаке или on-prem.

Сравнение традиционного S&OP и AI-подхода

Архитектура модели: LightGBM используется для коротких горизонтов и промо-моделирования. TFT — для долгосрочных прогнозов с учётом макроэкономики. Обе модели интегрированы в единый пайплайн с автоматическим ретрейнингом при поступлении новых данных.

Управление исключениями

Из 10 000 SKU плановик физически не может контролировать каждый. AI приоритизирует:

Exception triggers:

• Прогноз изменился более чем на X% vs. предыдущий цикл.
• Accuracy последних 4 недель упала ниже порога.
• Крупная промо без корректировки прогноза.
• SKU с высоким риском дефицита (< 2 недель запаса).

Exception workbench: один экран, где плановик видит только исключения с контекстом и рекомендацией AI. Вместо ревью 10 000 строк — работа с 50–200 исключениями в неделю.

Collaborative Planning с ритейлерами (CPFR)

Collaborative Planning, Forecasting and Replenishment:

• Обмен прогнозами и планами промо между производителем и ритейлером.
• Стандарт GS1 для EDI обмена: ORDERS/ORDRSP/DESADV.
• AI сравнивает производительский прогноз с ритейлерским, выявляет расхождения.

Интеграция:

• EDI через AS2/SFTP: традиционные ритейлеры.
• API: современные FMCG платформы (SAP Trading Partner Management).
• Retail Link (Walmart), POD (Target): проприетарные платформы.

Метрики системы:

• Forecast Value Added (FVA): улучшение accuracy vs. naive прогноза.
• Bias: систематический перепрогноз или недопрогноз (цель: около 0).
• Plan Adherence: % выполнения demand plan по факту.

По данным Gartner, AI улучшает точность прогнозов на 30–50%. Средняя экономия от внедрения составляет значительную сумму в год на каждые 1000 SKU. Типовые инвестиции окупаются за 6–12 месяцев за счёт сокращения дефицитов и излишков.

Сроки — от 8 недель на базовую версию до 5–6 месяцев на комплексное решение. Оценим ваш кейс за 2 дня — свяжитесь, чтобы обсудить детали. Закажите консультацию, чтобы получить детальный план внедрения. Имеем 7+ лет опыта в ML-прогнозировании, 30+ выполненных проектов. Гарантируем снижение MAPE не менее чем на 20% после запуска.

Какие проблемы прогнозирования временных рядов встречаются чаще всего?

Финансовый директор запрашивает прогнозирование временных рядов продаж на квартал. Аналитик строит SARIMA, добивается MAPE 8.3% на тестовой выборке — и с гордостью деплоит. Через два месяца в production метрика падает до 23%. Причина классическая: модель обучалась на данных до COVID, тестировалась на стабильном периоде, а production попал на промо-акцию и сбой поставок. Data leakage + distribution shift = красивые цифры в ноутбуке и неработающий прогноз в реальности. Мы сталкивались с этим десятки раз. Наш опыт — 5+ лет в прогнозировании временных рядов для ритейла, финтеха и IoT, более 50 завершённых проектов.

Неправильная кросс-валидация. Стандартный train_test_split для временных рядов — ошибка. Случайное разбиение создаёт data leakage: модель видит «будущие» значения в обучении. Правильно — TimeSeriesSplit или walk-forward validation с expanding window.

Множественная сезонность. Почасовые данные потребления электроэнергии имеют три сезонности: суточную (24 ч), недельную (168 ч), годовую (8760 ч). SARIMA справляется только с одной. Prophet обрабатывает несколько, но медленно масштабируется на тысячи рядов.

Пропуски и аномалии в данных. Пропуск в сенсорных данных — это информация (датчик отключился), а не просто NaN. Линейная интерполяция убивает этот сигнал. Правильная обработка зависит от природы пропуска.

Cold start при иерархическом прогнозировании. Новый SKU в ассортименте из 50 000 позиций: исторических данных нет, нужен прогноз. Стандартные подходы тут не работают — нужны cross-learning подходы или feature-based методы.

Какие инструменты и когда применять?

Prophet (Meta) — отличный старт для бизнес-данных с понятной сезонностью и праздниками. Быстро настраивается, интерпретируем, встроенная обработка выбросов и пропусков. Падает в точности при нерегулярных паттернах и не масштабируется на десятки тысяч рядов без параллелизации. Prophet (Facebook) — официальная документация.

Gradient boosting на фичах (LightGBM, XGBoost) — часто недооценённый подход. Создаёте фичи вручную: лаги (t-1, t-7, t-28), скользящие средние, категориальные признаки (день недели, месяц), экзогенные переменные. Модель обучается на всех рядах одновременно — решает cold start через похожие ряды. MAPE на ритейл-прогнозировании часто лучше нейронных сетей при правильной feature engineering.

TFT (Temporal Fusion Transformer) — трансформер, специально разработанный для интерпретируемого прогнозирования с ковариатами. Встроенные механизмы: variable selection (какие признаки важны), temporal self-attention (какие временные точки влияют на прогноз), квантильные предсказания. Доступен в pytorch-forecasting. Требует ~10 000+ записей на ряд для стабильного обучения. Temporal Fusion Transformer — академическая публикация.

PatchTST — трансформер, который делит временной ряд на патчи (аналогично ViT для изображений). Лучше захватывает локальные паттерны, чем классические трансформеры. Хорошо работает для long-horizon forecasting (прогноз на 96–720 шагов). Реализация в neuralforecast от Nixtla.

N-HiTS, N-BEATS — нейронные архитектуры без attention, быстрее TFT, конкурентная точность. N-BEATS выигрывает на M4/M5 benchmark для задач без ковариат.

Как мы разворачиваем TFT в production?

TFT требует тщательной подготовки данных. Типичный пайплайн через pytorch-forecasting:

training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="sales",
    group_ids=["store", "sku"],
    min_encoder_length=max_encoder_length // 2,
    max_encoder_length=max_encoder_length,  # 120 дней
    min_prediction_length=1,
    max_prediction_length=max_prediction_length,  # 28 дней
    static_categoricals=["store_type", "category"],
    time_varying_known_reals=["price", "promo_flag"],
    time_varying_unknown_reals=["sales"],
    target_normalizer=GroupNormalizer(groups=["store", "sku"], transformation="softplus"),
)

Частая ошибка: target_normalizer по умолчанию (StandardScaler) ломает предсказания для рядов с нулевыми значениями (нет продаж в выходные). GroupNormalizer с transformation="softplus" — правильный выбор для count-данных.

Пошаговая инструкция по настройке TFT

1. Сбор и подготовка данных. Обработать пропуски (маркировать NaN, интерполировать только если это технический сбой), агрегировать до нужной частоты, сформировать ковариаты (праздники, промо, цены).
2. Создание TimeSeriesDataSet. Указать group_ids (например, магазин+SKU), временной индекс, горизонт прогноза. Настроить target_normalizer с учётом распределения таргета.
3. Обучение baseline. Сначала Prophet или LightGBM — чтобы понять, насколько сложнее задача.
4. Тренировка TFT. Запустить TemporalFusionTransformer с loss=QuantileLoss(), подобрать learning rate и размеры hidden слоёв. Использовать pytorch_forecasting или neuralforecast.
5. Валидация и интерпретация. Проверить walk-forward, проанализировать variable selection, построить attention heatmap.

Кейс: прогноз спроса в ритейле. Сеть из 120 магазинов, 8000 SKU, горизонт прогноза 28 дней. Исходная система: SARIMA отдельно для каждого ряда, MAPE 18.4%, полный цикл переобучения — 6 часов. TFT на PyTorch + pytorch-forecasting: одна модель на все ряды, MAPE 11.2%, переобучение — 40 мин на A10G. Дополнительный бонус: feature importance через variable selection — выяснилось, что day_before_holiday влияет сильнее, чем сама дата праздника. Средняя экономия бюджета на инференсе для клиента составила 1.5 млн ₽ в год.

Как правильно оценивать качество прогнозов?

Не используйте RMSE как единственную метрику — она сильно штрафует за большие ошибки на больших значениях. Наш набор метрик для ритейл-прогнозирования:

• MAPE — интерпретируема, но нестабильна при значениях близких к нулю
• sMAPE — симметричная версия, избегает деления на маленькие числа
• MASE (Mean Absolute Scaled Error) — нормализован относительно наивного сезонного прогноза, отлично подходит для сравнения между рядами с разными масштабами
• Quantile loss / Pinball loss — для вероятностного прогнозирования, оценка покрытия интервалов

Гарантируем: мы предоставляем model card с этими метриками на валидационной выборке и результаты walk-forward теста на истории не менее 6 месяцев.

Что входит в работу

• Документация по выбранной архитектуре, обоснование выбора гиперпараметров.
• Воспроизводимый пайплайн обучения и инференса (Docker + CI/CD + Airflow/Prefect).
• Код с комментариями и модульными тестами на ключевые компоненты.
• Обучение вашей команды: как переобучать модель, как интерпретировать выходы, как деплоить новые версии.
• Поддержка в течение 3 месяцев после сдачи: консультации, фиксы багов, донастройка.

Процесс работы

Начинаем с EDA: визуализация, тест ADF на стационарность, STL-декомпозиция, анализ пропусков и выбросов. Это 2–3 дня, но часто выявляет системные проблемы данных, которые блокируют прогнозирование.

Затем: baseline (наивный seasonal, Prophet), feature engineering для LGBM, выбор архитектуры нейронной сети если нужно. Walk-forward validation с реалистичным горизонтом. Деплой через API с автоматическим переобучением по расписанию через Airflow или Prefect.

Сроки ориентировочно: MVP-прогноз на одном типе данных — 3–6 недель. Иерархическая система прогнозирования с автоматизацией — 2–5 месяцев. Стоимость рассчитывается индивидуально.

Наша команда — сертифицированные ML-инженеры (AWS ML Specialty, GCP Professional ML Engineer). За 5 лет на рынке реализовали более 50 проектов по прогнозированию. Свяжитесь с нами для бесплатного анализа ваших данных — мы оценим задачу и дадим первые рекомендации за 1–2 дня. Закажите консультацию и убедитесь, что ваши прогнозы работают в production, а не только в ноутбуке.