Уявіть: сервіс моніторингу метрик інфраструктури генерує сотні алертів на день, 90% з яких — хибні. Коли метрики містять тренди, сезонні сплески та концептуальний дрейф, статичні пороги дають понад 60% хибних тривог. В одному з проектів з 500 метриками інженери витрачали по 2 години на день на фільтрацію алертів. Після інтеграції гібридного детектора час розбору скоротився до 15 хвилин, а false positive rate впав на 70% порівняно зі статичними порогами. Зниження витрат на обробку алертів досягає 80%, а економія для типового проєкту — до $100,000 на рік. Згідно з дослідженням NIST з часових рядів, комбінація статистики та машинного навчання — найкращий підхід для детекції аномалій. Машинне навчання для часових рядів дозволяє ефективно виявляти аномалії в даних.
Ми — команда AI-інженерів з 7+ років досвіду в продакшені часових рядів, реалізували 50+ проєктів. Гарантуємо точність детекції не нижче 95% на ваших даних. Оцінимо ваш проєкт безкоштовно — пишіть нам.
Типологія аномалій
Виявлення викидів починається з правильної класифікації аномалій.
Точкові аномалії (викиди): одиничне значення різко вибивається з ряду. Приклад: показання температурного датчика 200°C при нормі 50°C.
Контекстуальні аномалії: значення нормальне саме по собі, але аномальне в контексті. Приклад: температура 35°C у січні (норма влітку, аномалія взимку).
Колективні аномалії: послідовність значень нормальна окремо, але аномальна разом. Приклад: кілька стандартних транзакцій, що утворюють патерн шахрайства.
Чому STL + Isolation Forest — золотий стандарт?
STL-декомпозиція (Seasonal-Trend decomposition using Loess) розділяє ряд на тренд, сезонність та залишок. Аномалії шукаються в залишку — це позбавляє від хибних спрацьовувань на сезонних піках. Isolation Forest на залишках ефективно виловлює точки, які не вписуються в нормальний розподіл. Для потокових даних додаємо онлайн Z-Score з адаптивним порогом.
Такий гібрид працює швидше за LSTM (мілісекунди на точку) і потребує менше даних. У наших проєктах це дає precision >0.95 та recall >0.9. STL + Isolation Forest — наш основний вибір для більшості задач.
Порівняння методів детекції
| Метод | Швидкість | Точність | Пояснюваність | Вимоги до даних |
|---|---|---|---|---|
| Z-Score / MAD | Дуже висока | Середня | Висока | Мінімум (нормальний розподіл) |
| CUSUM | Висока | Середня | Висока | Baseline (перші 50 точок) |
| STL + залишок | Висока | Висока | Висока | Період сезонності |
| Isolation Forest | Середня | Висока | Низька | Вікно ознак (10-50 точок) |
| LSTM Autoencoder | Низька | Дуже висока | Дуже низька | Багато даних, навчання |
Середньостатистичні показники на промислових даних
| Метод | Precision | Recall | Latency p99 (ms) |
|---|---|---|---|
| Z-Score | 0.80 | 0.70 | 0.1 |
| STL + Isolation Forest | 0.95 | 0.90 | 2.0 |
| LSTM Autoencoder | 0.97 | 0.95 | 50 |
Як вибрати поріг детекції і не збожеволіти?
Поріг визначає баланс між пропуском аномалій (False Negative) та хибними спрацьовуваннями (False Positive). Важливе завдання — налаштування порогів детекції. Оптимальний поріг залежить від бізнес-цілей: для критичних метрик (простий сервісу) важливіший recall, для моніторингу продажів — precision. Ми використовуємо validation set і підбираємо поріг за F1-score або за метрикою точності на N-му квантілі. У production поріг адаптується через feedback loop: інженери помічають алерти, і модель перенавчається.
Код методів детекції аномалій
import numpy as np
from scipy.stats import median_abs_deviation
def zscore_anomalies(series, threshold=3.0):
z_scores = np.abs((series - series.mean()) / series.std())
return z_scores > threshold
def mad_anomalies(series, threshold=3.5):
median = np.median(series)
mad = median_abs_deviation(series)
modified_z = 0.6745 * (series - median) / mad
return np.abs(modified_z) > threshold
def cusum_detector(series, k=0.5, h=5.0):
mean = series[:50].mean()
std = series[:50].std()
S_pos = np.zeros(len(series))
S_neg = np.zeros(len(series))
for t in range(1, len(series)):
xi = (series[t] - mean) / std
S_pos[t] = max(0, S_pos[t-1] + xi - k)
S_neg[t] = max(0, S_neg[t-1] - xi - k)
return (S_pos > h) | (S_neg > h)
from statsmodels.tsa.seasonal import STL
def stl_anomaly_detection(series, period=24, threshold=3.5):
stl = STL(series, period=period, robust=True)
result = stl.fit()
residuals = result.resid
mad = median_abs_deviation(residuals)
modified_z = np.abs(0.6745 * (residuals - np.median(residuals)) / mad)
return modified_z > threshold, result
from sklearn.ensemble import IsolationForest
def isolation_forest_detector(series, contamination=0.05, window=10):
features = []
for i in range(window, len(series)):
window_data = series[i-window:i]
features.append([
window_data.mean(),
window_data.std(),
window_data.max() - window_data.min(),
window_data[-1] - window_data.mean(),
np.corrcoef(np.arange(window), window_data)[0,1]
])
features = np.array(features)
iso_forest = IsolationForest(contamination=contamination, random_state=42)
predictions = iso_forest.fit_predict(features)
return predictions == -1
import torch
import torch.nn as nn
class LSTMAutoencoder(nn.Module):
def __init__(self, input_size, hidden_size=64, num_layers=2):
super().__init__()
self.encoder = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
self.decoder = nn.LSTM(hidden_size, input_size, num_layers, batch_first=True)
def forward(self, x):
_, (h_n, c_n) = self.encoder(x)
decoder_input = h_n[-1].unsqueeze(1).repeat(1, x.size(1), 1)
reconstruction, _ = self.decoder(decoder_input)
return reconstruction
def detect_autoencoder_anomalies(model, series, threshold_quantile=0.95):
with torch.no_grad():
reconstruction = model(series)
re = torch.mean((series - reconstruction)**2, dim=[1, 2])
threshold = torch.quantile(re, threshold_quantile)
return re > threshold
Що входить у роботу
- Код детектора аномалій для моніторингу метрик (Python, готовий до деплою)
- Дашборд у Grafana + алертинг (Telegram, Slack)
- Документація щодо порогів та адаптації
- Навчання вашої команди (2 години)
- Підтримка протягом 2 тижнів після впровадження
Процес реалізації: від аудиту до деплою
- Аналітика — збір історичних даних, виявлення типів аномалій (точкові, контекстуальні, колективні), підбір метрик для моніторингу.
- Проектування — вибір комбінації методів (STL, Isolation Forest, LSTM), визначення початкових порогів.
- Розробка — написання пайплайну детекції, інтеграція з системою моніторингу (Prometheus, Grafana).
- Тестування — валідація на історичних даних, A/B-тест у паралельному режимі, аналіз false positive rate.
- Деплой — встановлення на staging, потім production, налаштування алертів.
- Моніторинг — збір зворотного зв'язку, адаптація порогів, перенавчання моделей при концептуальному дрейфі.
Терміни та вартість
- Базова версія (STL + Isolation Forest + дашборд): від 3 до 4 тижнів, вартість від $5,000.
- Повна версія (LSTM Autoencoder, потокова детекція, feedback loop): від 2 до 3 місяців, вартість від $15,000.
Вартість проєкту визначається після аналізу даних. Оцінимо ваш проєкт безкоштовно — пишіть нам.