Разработка AI-системы мониторинга качества воздуха

В городах с плотной застройкой точечные датчики дают разрозненные показания. Управленцам нужна карта концентраций с шагом 100 м и точный прогноз на двое суток. Детерминированные модели рассеивания требуют десятки параметров и часто ошибаются на 50–70% в условиях переменного ветра. ML-модели, обученные на исторических данных, снижают ошибку до 15–20%. За 5 лет выполнили 20+ проектов по AI-мониторингу в городах с разным климатом и плотностью застройки.

Архитектура системы

Данные → Обработка → Хранение → Аналитика → Визуализация

Данные:
├── Государственные посты (Росгидромет, ФБУ ЦЛМ)
├── IoT-сенсоры (собственные/партнёрские)
├── Спутник (Sentinel-5P, MODIS)
├── Мобильные станции (автомобили, велосипеды)
└── NWP метеопрогнозы (Росгидромет API, Open-Meteo)

Обработка:
├── Калибровка LCS (low-cost sensors)
├── Контроль качества (QA/QC)
├── Пространственная интерполяция
└── Прогноз качества воздуха

Хранение:
└── TimescaleDB (temporal) + PostGIS (spatial)

Аналитика:
├── AQI расчёт
├── Trend analysis
├── Source attribution
└── Health impact estimation

Визуализация:
└── Веб-портал + мобильное приложение

Как работает ML-интерполяция?

Станций всегда меньше, чем нужно. Для карты качества воздуха на уровне 100 м нужна интерполяция. Kriging уступает ML-интерполяции на 30% по точности, особенно в районах с локальными источниками (заводы, дороги). Мы используем XGBoost с пространственными ковариатами: расстояние до трасс, NDVI, плотность застройки.

def spatial_air_quality_model(station_readings, spatial_covariates):
    """
    Обучаем на station_readings
    Предсказываем для всей городской сетки 100×100 м
    """
    X = pd.merge(station_readings, spatial_covariates, on=['lat', 'lon'])

    # Spatial features
    X['distance_to_highway'] = ...
    X['distance_to_industry'] = ...
    X['ndvi'] = ...  # озеленение
    X['building_density'] = ...  # плотность застройки

    model = XGBRegressor().fit(X, X['pm25'])
    return model

# Предсказание для всей сетки города
grid = create_city_grid(city_boundary, resolution=100)
grid['predicted_pm25'] = model.predict(grid[feature_cols])

Deep Learning для spatial mapping: U-Net с мультиспектральными спутниковыми снимками + station readings → карта PM2.5 разрешением 30-100 м. Обучение на одновременных данных станций и спутниковых снимков. Экономия на обслуживании датчиков — до 40%.

Почему LSTM лучше традиционных моделей?

Основные факторы прогноза:

• Метеорология: ветер (скорость и направление определяют перенос), стабильность атмосферы (mixing height), осадки (вымывание PM)
• Источники: промышленные выбросы, транспорт, отопление
• Фотохимия: образование O3 и вторичных частиц (PM2.5)

LSTM + Weather Attention модель:

class AirQualityForecastModel(nn.Module):
    def __init__(self):
        self.pollutant_encoder = LSTM(n_pollutants, 64)
        self.weather_encoder = LSTM(n_weather_vars, 64)
        self.cross_attention = CrossAttention(64, 64)
        self.decoder = nn.Linear(128, n_pollutants * forecast_hours)

Горизонт: 24/48/72 часа. MAPE достижимая: < 15% для 48-часового прогноза PM2.5.

Индекс качества воздуха (АКИ/AQI)

Расчёт АКИ по стандарту «Методика расчета индекса загрязнения атмосферы» (РД 52.04.667):

def calculate_aki(concentrations: dict) -> float:
    """
    АКИ = Σ (C_i / PDK_i_ss) для i загрязнителей
    При АКИ < 5 — нормативное качество воздуха
    """
    aki = 0
    for pollutant, conc in concentrations.items():
        pdk = PDK_MEAN_DAILY[pollutant]
        aki += conc / pdk
    return aki

Цветовая кодировка:

• Зелёный: АКИ < 5 (норма)
• Жёлтый: 5-7 (незначительное загрязнение)
• Оранжевый: 7-14 (умеренное)
• Красный: > 14 (высокое, опасно для здоровья)

Подробнее о Индексе качества воздуха.

Мобильное приложение для горожан

Функции:

• Текущий AQI в точке геолокации
• Карта качества воздуха города
• Прогноз AQI на 24/48 часов
• Рекомендации: безопасно ли гулять/заниматься спортом
• Уведомления при превышении порогов

Персонализированные рекомендации:

• Астматики / аллергики: более строгий порог уведомлений
• Велосипедисты: оптимальное время/маршрут с учётом AQI
• Родители с детьми: playground quality index

Атрибуция источников

Positive Matrix Factorization (PMF) разлагает спектр химического состава PM2.5 на источники: промышленность, транспорт, бытовое отопление, природные (морская соль, пыль). Используем EPA PMF 5.0 — официальный инструмент для receptor modeling.

from scipy.optimize import nnls
# G = F × C (observations = sources × contributions)
# PMF минимизирует взвешенную сумму квадратов остатков
# при неотрицательности F и C

Результат: «30% PM2.5 в городе от выбросов металлургии, 40% от транспорта, 20% от бытового отопления». Это база для регуляторных решений.

Как оценить ROI от системы мониторинга?

Прямая экономия: сокращение штрафов за превышение нормативов (до 2 млн ₽ в год в промышленных зонах), снижение затрат на лабораторные замеры (заменяются ML-интерполяцией), оптимизация работы очистных фильтров по фактической нагрузке. Косвенный эффект — рост доверия жителей и инвестиционная привлекательность города.

Что входит в работу

1. Аудит данных: оценка качества и полноты имеющихся измерений, выбор оптимального стека.
2. Проектирование архитектуры: схема потоков данных, выбор моделей, прототипирование.
3. Калибровка сенсоров: настройка low-cost датчиков по референсным станциям.
4. Разработка ML-моделей: интерполяция, прогноз, source attribution.
5. Создание веб-портала и мобильного приложения: карта, AQI, алерты.
6. Тестирование и валидация: сравнение с независимыми станциями, MAPE < 15%.
7. Документация и обучение: передача кода, API, инструкции для экологов.
8. Сопровождение 3 месяца: мониторинг, дообучение моделей, обновление.

Сроки: базовая IoT-сеть + AQI расчёт + карта + мобильное приложение — 8-10 недель. Система с ML-прогнозом, source attribution и regulatory API — 4-5 месяцев.

Этапы работы:

1. Аудит данных — 1 неделя
2. Проектирование — 1-2 недели
3. Калибровка сенсоров — 2-3 недели
4. Разработка ML-моделей — 3-4 недели
5. Разработка интерфейсов — 3-4 недели
6. Тестирование — 2-3 недели
7. Документация и обучение — 1-2 недели

Свяжитесь — проанализируем ваши данные за 2 дня. Получите консультацию по подбору стека и оценке объёма работ. Оценим ваш проект за 2 рабочих дня. Гарантируем качество благодаря сертифицированным инженерам и 5+ годам опыта в AI-мониторинге.

Какие проблемы прогнозирования временных рядов встречаются чаще всего?

Финансовый директор запрашивает прогнозирование временных рядов продаж на квартал. Аналитик строит SARIMA, добивается MAPE 8.3% на тестовой выборке — и с гордостью деплоит. Через два месяца в production метрика падает до 23%. Причина классическая: модель обучалась на данных до COVID, тестировалась на стабильном периоде, а production попал на промо-акцию и сбой поставок. Data leakage + distribution shift = красивые цифры в ноутбуке и неработающий прогноз в реальности. Мы сталкивались с этим десятки раз. Наш опыт — 5+ лет в прогнозировании временных рядов для ритейла, финтеха и IoT, более 50 завершённых проектов.

Неправильная кросс-валидация. Стандартный train_test_split для временных рядов — ошибка. Случайное разбиение создаёт data leakage: модель видит «будущие» значения в обучении. Правильно — TimeSeriesSplit или walk-forward validation с expanding window.

Множественная сезонность. Почасовые данные потребления электроэнергии имеют три сезонности: суточную (24 ч), недельную (168 ч), годовую (8760 ч). SARIMA справляется только с одной. Prophet обрабатывает несколько, но медленно масштабируется на тысячи рядов.

Пропуски и аномалии в данных. Пропуск в сенсорных данных — это информация (датчик отключился), а не просто NaN. Линейная интерполяция убивает этот сигнал. Правильная обработка зависит от природы пропуска.

Cold start при иерархическом прогнозировании. Новый SKU в ассортименте из 50 000 позиций: исторических данных нет, нужен прогноз. Стандартные подходы тут не работают — нужны cross-learning подходы или feature-based методы.

Какие инструменты и когда применять?

Prophet (Meta) — отличный старт для бизнес-данных с понятной сезонностью и праздниками. Быстро настраивается, интерпретируем, встроенная обработка выбросов и пропусков. Падает в точности при нерегулярных паттернах и не масштабируется на десятки тысяч рядов без параллелизации. Prophet (Facebook) — официальная документация.

Gradient boosting на фичах (LightGBM, XGBoost) — часто недооценённый подход. Создаёте фичи вручную: лаги (t-1, t-7, t-28), скользящие средние, категориальные признаки (день недели, месяц), экзогенные переменные. Модель обучается на всех рядах одновременно — решает cold start через похожие ряды. MAPE на ритейл-прогнозировании часто лучше нейронных сетей при правильной feature engineering.

TFT (Temporal Fusion Transformer) — трансформер, специально разработанный для интерпретируемого прогнозирования с ковариатами. Встроенные механизмы: variable selection (какие признаки важны), temporal self-attention (какие временные точки влияют на прогноз), квантильные предсказания. Доступен в pytorch-forecasting. Требует ~10 000+ записей на ряд для стабильного обучения. Temporal Fusion Transformer — академическая публикация.

PatchTST — трансформер, который делит временной ряд на патчи (аналогично ViT для изображений). Лучше захватывает локальные паттерны, чем классические трансформеры. Хорошо работает для long-horizon forecasting (прогноз на 96–720 шагов). Реализация в neuralforecast от Nixtla.

N-HiTS, N-BEATS — нейронные архитектуры без attention, быстрее TFT, конкурентная точность. N-BEATS выигрывает на M4/M5 benchmark для задач без ковариат.

Как мы разворачиваем TFT в production?

TFT требует тщательной подготовки данных. Типичный пайплайн через pytorch-forecasting:

training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="sales",
    group_ids=["store", "sku"],
    min_encoder_length=max_encoder_length // 2,
    max_encoder_length=max_encoder_length,  # 120 дней
    min_prediction_length=1,
    max_prediction_length=max_prediction_length,  # 28 дней
    static_categoricals=["store_type", "category"],
    time_varying_known_reals=["price", "promo_flag"],
    time_varying_unknown_reals=["sales"],
    target_normalizer=GroupNormalizer(groups=["store", "sku"], transformation="softplus"),
)

Частая ошибка: target_normalizer по умолчанию (StandardScaler) ломает предсказания для рядов с нулевыми значениями (нет продаж в выходные). GroupNormalizer с transformation="softplus" — правильный выбор для count-данных.

Пошаговая инструкция по настройке TFT

1. Сбор и подготовка данных. Обработать пропуски (маркировать NaN, интерполировать только если это технический сбой), агрегировать до нужной частоты, сформировать ковариаты (праздники, промо, цены).
2. Создание TimeSeriesDataSet. Указать group_ids (например, магазин+SKU), временной индекс, горизонт прогноза. Настроить target_normalizer с учётом распределения таргета.
3. Обучение baseline. Сначала Prophet или LightGBM — чтобы понять, насколько сложнее задача.
4. Тренировка TFT. Запустить TemporalFusionTransformer с loss=QuantileLoss(), подобрать learning rate и размеры hidden слоёв. Использовать pytorch_forecasting или neuralforecast.
5. Валидация и интерпретация. Проверить walk-forward, проанализировать variable selection, построить attention heatmap.

Кейс: прогноз спроса в ритейле. Сеть из 120 магазинов, 8000 SKU, горизонт прогноза 28 дней. Исходная система: SARIMA отдельно для каждого ряда, MAPE 18.4%, полный цикл переобучения — 6 часов. TFT на PyTorch + pytorch-forecasting: одна модель на все ряды, MAPE 11.2%, переобучение — 40 мин на A10G. Дополнительный бонус: feature importance через variable selection — выяснилось, что day_before_holiday влияет сильнее, чем сама дата праздника. Средняя экономия бюджета на инференсе для клиента составила 1.5 млн ₽ в год.

Как правильно оценивать качество прогнозов?

Не используйте RMSE как единственную метрику — она сильно штрафует за большие ошибки на больших значениях. Наш набор метрик для ритейл-прогнозирования:

• MAPE — интерпретируема, но нестабильна при значениях близких к нулю
• sMAPE — симметричная версия, избегает деления на маленькие числа
• MASE (Mean Absolute Scaled Error) — нормализован относительно наивного сезонного прогноза, отлично подходит для сравнения между рядами с разными масштабами
• Quantile loss / Pinball loss — для вероятностного прогнозирования, оценка покрытия интервалов

Гарантируем: мы предоставляем model card с этими метриками на валидационной выборке и результаты walk-forward теста на истории не менее 6 месяцев.

Что входит в работу

• Документация по выбранной архитектуре, обоснование выбора гиперпараметров.
• Воспроизводимый пайплайн обучения и инференса (Docker + CI/CD + Airflow/Prefect).
• Код с комментариями и модульными тестами на ключевые компоненты.
• Обучение вашей команды: как переобучать модель, как интерпретировать выходы, как деплоить новые версии.
• Поддержка в течение 3 месяцев после сдачи: консультации, фиксы багов, донастройка.

Процесс работы

Начинаем с EDA: визуализация, тест ADF на стационарность, STL-декомпозиция, анализ пропусков и выбросов. Это 2–3 дня, но часто выявляет системные проблемы данных, которые блокируют прогнозирование.

Затем: baseline (наивный seasonal, Prophet), feature engineering для LGBM, выбор архитектуры нейронной сети если нужно. Walk-forward validation с реалистичным горизонтом. Деплой через API с автоматическим переобучением по расписанию через Airflow или Prefect.

Сроки ориентировочно: MVP-прогноз на одном типе данных — 3–6 недель. Иерархическая система прогнозирования с автоматизацией — 2–5 месяцев. Стоимость рассчитывается индивидуально.

Наша команда — сертифицированные ML-инженеры (AWS ML Specialty, GCP Professional ML Engineer). За 5 лет на рынке реализовали более 50 проектов по прогнозированию. Свяжитесь с нами для бесплатного анализа ваших данных — мы оценим задачу и дадим первые рекомендации за 1–2 дня. Закажите консультацию и убедитесь, что ваши прогнозы работают в production, а не только в ноутбуке.