AI-прогнозирование аварий на теплосетях ЖКХ

Аварии на теплосетях — не просто убытки, а социальная проблема. Средний возраст трубопроводов в РФ превышает нормативный, и каждый отопительный сезон приносит порывы с отключением тепла. Традиционный реактивный ремонт (ждать, пока лопнет) обходится дороже предиктивной замены: срочный ремонт стоит в 3–5 раз выше планового, а простой в часах умножает социальный ущерб. Мы разработали AI-систему, которая по данным телеметрии, истории аварий и характеристикам сети с точностью до участка прогнозирует разрывы за 3–12 месяцев до события.

Как AI прогнозирует аварии на теплосетях?

Система собирает данные из 5 источников: реестр труб, история аварий, SCADA (давление/температура/расход), геология и погода. Feature-инжиниринг на уровне сегмента (50–200 м между колодцами) даёт 15+ признаков:

# Fragment: age, accident history, corrosion, material
data_layers = {
    'pipe_registry': {
        'attributes': ['material', 'diameter_mm', 'installation_year',
                       'insulation_type', 'soil_type', 'depth_m'],
        'source': 'GIS ТГК / ЕАСУП ЖКХ'
    },
    'accident_history': {
        'attributes': ['accident_date', 'pipe_segment_id', 'failure_type',
                       'repair_type', 'repair_cost', 'outage_hours'],
        'source': 'Аварийно-диспетчерская служба АДС'
    },
    'pressure_telemetry': {
        'attributes': ['pressure_bar', 'temperature_c', 'flow_m3h'],
        'frequency': '10 минут (ПТК SCADA)',
        'source': 'датчики ИТП, ЦТП, насосные'
    },
    'soil_data': {
        'attributes': ['soil_corrosivity', 'groundwater_level',
                       'freeze_depth_m', 'clay_content'],
        'source': 'геологические изыскания + ГИС'
    },
    'weather_history': {
        'attributes': ['temperature', 'precipitation', 'freeze_thaw_cycles'],
        'source': 'Росгидромет API'
    }
}

Модель машинного обучения XGBoost обучается на временных срезах с целью: "авария в течение 12 месяцев". Из-за rarity аварий (5–8% в год) применяем scale_pos_weight=10 и метрику AUC-PR. Результат — вероятность разрыва для каждого участка.

def train_accident_probability_model(features_df: pd.DataFrame):
    feature_cols = [
        'age_years', 'age_ratio', 'diameter_mm',
        'accidents_total', 'accidents_5yr', 'last_accident_days',
        'pressure_mean', 'pressure_max', 'pressure_std',
        'soil_corrosivity_score', 'material_risk',
        'freeze_thaw_cycles_annual', 'groundwater_level',
        'is_main_pipeline', 'operating_mode'
    ]
    model = XGBClassifier(n_estimators=300, max_depth=5, learning_rate=0.05,
                          scale_pos_weight=10, eval_metric='aucpr', random_state=42)
    model.fit(features_df[feature_cols], features_df['accident_in_12m'])
    return model

Почему предиктивный ремонт выгоднее реактивного?

Сравните: срочное восстановление трубы с раскопкой, отогревом и сваркой обходится в несколько раз дороже, чем плановая замена участка. Плюс социальный ущерб (отключение тепла) — сотни рублей в час на квартиру. AI-модель снижает количество аварийных ремонтов на 40–60% за счёт приоритизации замены.

Экономия — более 50% бюджета на ремонт. Кроме того, real-time детекция разрыва по падению давления и росту расхода позволяет локализовать утечку за 3–5 минут, а не часами обзванивать жильцов.

Что входит в работу?

• Аудит данных: проверка состава, качества и доступности источников (ГИС, SCADA, АДС).
• Пайплайн ETL: автоматический сбор, очистка, объединение и хранение признаков в векторной БД (pgvector).
• Обучение модели: валидация на временных рядах, подбор гиперпараметров, экспорт в ONNX для инференса. Используем ONNX Runtime для оптимизации.
• Веб-дашборд: карта рисков (интеграция с QGIS/ArcGIS), список участков с risk-index, детализация по каждому сегменту.
• Интеграция с АДС: автоматическое создание заявок на плановую замену и при аварийном сигнале.
• Мобильный клиент: карта инцидентов для аварийных бригад с маршрутом и описанием.
• Документация: model card, data schema, API-спецификация, инструкция оператора.
• Обучение: 2 дня для диспетчеров и аналитиков, поддержка 3 месяца.

Процесс внедрения и сроки

Базовый функционал (модель + карта) — от 4–5 недель. Полное решение с real-time детекцией, интеграцией АДС и мобильным приложением — 3–4 месяца. Стоимость рассчитывается индивидуально под объём данных и количество труб.

Какие ошибки допускают при внедрении предиктивной аналитики?

• Недостаток исторических аварий: если аварий мало (<30 записей), модель не обучится. Решение — увеличить горизонт до 10 лет или использовать синтетические данные.
• Игнорирование качества телеметрии: пропуски в данных SCADA (более 20%) снижают точность. Перед стартом чистим и интерполируем ряды.
• Замена без экономического обоснования: модель рекомендует замену старых труб, но не все из них окупаются. Риск-индекс = P(авария) × последствия (стоимость ремонта + социальный ущерб) — это даёт приоритет.
• Отсутствие MLOps: модель деградирует через 6–12 месяцев из-за дрейфа данных. Мы настраиваем мониторинг и автоматическое дообучение.

Свяжитесь с нами для оценки вашего проекта. 5+ лет опыта в AI/ML для промышленности, 10+ проектов внедрения предиктивной аналитики — гарантируем результат. Закажите консультацию: пишите на почту или в мессенджеры — подготовим расчёт за 2 дня.

Детекция аномалий: автоэнкодеры, Isolation Forest, PyOD

Мы сталкиваемся с этой болью постоянно: мониторинг сервера показывает CPU 85%, память 91% — это норма в час пик или начало атаки? Классификатор здесь не поможет: аномалии по определению редки, разнообразны и заранее не размечены. Supervised learning требует примеров аномалий в обучающей выборке — а значит, не работает для того, о чём вы ещё не знаете. Наш опыт показывает: без unsupervised-подхода детекция превращается в гадание.

Почему детекция аномалий требует unsupervised подхода?

Главная проблема — отсутствие разметки и дисбаланс классов в экстремальной форме. Фрод-транзакции составляют 0.01–0.1% от общего объёма. Производственный дефект — 0.5–3%. При таком соотношении даже наивный классификатор «всё нормально» даст accuracy 99.9% и precision/recall для аномального класса, близкие к нулю. Supervised-модели здесь бессильны.

Вторая проблема — «нормальность» всегда контекстна. Нормально ли, что пользователь логинится в 3 часа ночи? Зависит от его истории и временной зоны. Нормально ли вибрация подшипника 2.3 мм/с? Зависит от режима работы станка и его возраста. Поэтому мы встраиваем контекст в модель через feature engineering и временные окна.

Третья — оценка качества. Нет стандартного test set, AUC-ROC считается только если есть хотя бы немного размеченных примеров. На полностью неразмеченных данных — только domain expert validation и косвенные метрики.

Как отличить аномалию от шума в реальном времени?

Ответ — адаптивные пороги и мониторинг статистик модели. В разделе кейса покажем, как это работает.

Методы и инструменты

Isolation Forest — стандартный baseline для табличных данных. Идея: аномалии изолируются быстрее при случайном разбиении пространства признаков. Работает хорошо при contamination 0.01–0.1, устойчив к масштабу признаков, не требует нормализации. Реализация в sklearn.ensemble.IsolationForest.

Типичная ошибка: ставить contamination='auto' без понимания данных. Auto-режим предполагает порог -0.5, что не всегда соответствует реальной доле аномалий. Лучше: оцените ожидаемый процент аномалий через domain knowledge и задайте явно. Мы гарантируем подбор contamination под ваш кейс.

PyOD (Python Outlier Detection) — библиотека с 40+ алгоритмами под единым API. Включает: OCSVM, LOF, COPOD, ECOD, DeepSVDD, AutoEncoder. Удобно для быстрого сравнения методов на одних данных.

Автоэнкодеры — основной метод для неструктурированных данных (временные ряды, изображения, логи). Идея: обучаем сеть восстанавливать нормальные данные, аномалии дают высокую ошибку реконструкции. Порог аномальности — 95-й или 99-й процентиль ошибки на validation set из нормальных данных.

Практическая проблема автоэнкодеров: переобучение на «нормальных» паттернах, которые всё равно встречаются редко. Если в train set есть хоть несколько аномалий, модель может научиться их хорошо восстанавливать. Решение: тщательная очистка training data или использование Variational Autoencoder (VAE), который лучше обобщает.

LSTMAE для временных рядов — LSTM-автоэнкодер захватывает временные зависимости лучше, чем обычный AE. Особенно эффективен для мультивариантных временных рядов (10+ сенсоров одновременно). Реализация через PyTorch, обучение с MSELoss на скользящих окнах.

Детально: детекция аномалий в промышленных временных рядах

Задача: вибрационные датчики на 12 насосах химического предприятия, 6 сенсоров на насос, частота 100 Гц. Нужно предупредить о надвигающейся поломке за 4–24 часа.

Архитектура решения:

Сырые данные → feature extraction (RMS, кэртозис, пиковый фактор, FFT-амплитуды на резонансных частотах) → нормализация по скользящему окну 24ч → LSTMAE → reconstruction error → пороговая логика + алертинг.

Размер окна LSTM: 60 секунд (6000 точек на 100 Гц). Слишком маленькое окно — не захватывает медленные паттерны. Слишком большое — теряет чувствительность к быстрым изменениям.

Порог аномальности: не фиксированный, а адаптивный. threshold = mean(errors_last_7d) + 3 * std(errors_last_7d). При дрейфе нормального состояния (плановый износ) порог адаптируется, избегая false positives.

Результат на 6-месячном пилоте: обнаружено 4 из 5 реальных предотказных состояний (recall 0.8), 2 ложных тревоги за 6 месяцев (precision 0.67). До внедрения: 3 незапланированных остановки по $40k каждая. Экономия после внедрения — $120k за полгода (отчёт о пилоте на объекте клиента).

Фрод-детекция: специфика финансовых данных

Финансовые транзакции имеют несколько особенностей, усложняющих детекцию:

• Concept drift: паттерны фрода меняются быстрее нормального поведения. Модель, обученная полгода назад, устаревает.
• Adversarial adaptation: продвинутые мошенники адаптируются к обнаружению — делают транзакции похожими на нормальные.
• Временная зависимость: серия нормальных транзакций, а потом один необычный перевод — это аномалия последовательности, а не одиночной точки.

Практический стек для фрод-детекции: LightGBM с SMOTE-oversampling для supervised части (по известным фрод-кейсам) + Isolation Forest для unsupervised (новые паттерны). Оба сигнала объединяются в ансамбль, финальное решение — через пороги, настроенные на приемлемый FPR (0.1–1% от транзакций на ручную проверку).

Как оценить качество без разметки?

Когда ground truth нет, для оценки используем:

• Synthetic anomaly injection: добавляем искусственные аномалии (spike, level shift, point outlier) и смотрим, обнаруживает ли их модель
• Expert validation: случайная выборка топ-K аномалий от модели → review эксперта → precision
• Business metric: снизилось ли количество пропущенных инцидентов / ложных тревог после внедрения

Процесс работы

1. Интервью с доменными экспертами — понимаем, что такое «нормальность» и какие инциденты уже были.
2. EDA и подготовка данных — очистка, создание признаков, временные окна.
3. Baseline (Isolation Forest) — быстрая валидация на известных инцидентах.
4. Выбор и кастомизация модели — Autoencoder / LSTM-AE / ансамбль.
5. Обучение, валидация с синтетическими аномалиями.
6. Развёртывание в production — пайплайн на Kafka + Flink / Airflow, алертинг в Telegram/Slack, мониторинг дрифта.
7. Post-deployment сопровождение — мониторинг метрик модели, обновление порогов.

Что входит в работу

• Аудит текущих данных и процессов
• Разработка и обучение моделей (Isolation Forest / Autoencoder / LSTM-AE / ансамбль)
• Настройка адаптивных порогов и алертинга
• Панель мониторинга аномалий (Grafana / Streamlit)
• Документация model card и pipeline
• Обучение вашей команды (2–3 сессии)
• Гарантийная поддержка 3 месяца

Сроки: baseline-система с одним методом — 2–4 недели. Production-система с адаптивными порогами, алертингом и мониторингом — 2–5 месяцев. Стоимость рассчитывается индивидуально под ваш кейс.

Наша команда имеет 8+ лет опыта в промышленной аналитике и 15+ успешных проектов по детекции аномалий в телеметрии, финансах и IT-мониторинге. Получите консультацию — расскажем, как решить вашу задачу.