Налаштування Predictive Monitoring (передбачення деградації) для сайту

Налаштування Predictive Monitoring для веб-сайту

Predictive Monitoring виявляє ознаки неминучого збою до того, як він сталася. Класичний моніторинг реагує: CPU 90% → алерт. Прогнозний моніторинг попереджає: CPU росте зі швидкістю +2% на годину, через 6 годин досягне 90%. Різниця — час для превентивної дії.

Методи прогнозування

Trend Analysis (лінійна регресія). Аналізує тренд метрики за останні N годин для екстраполяції. Простий у реалізації, працює для монотонних трендів (утечки пам'яті, накопичення в черзі).

Seasonality-aware forecasting. Враховує денні та тижневі паттерни. Prophet (Facebook/Meta) або Holt-Winters ETS. Придатна для метрик з регулярними циклами.

Anomaly Detection. ML-моделі виявляють аномальну поведінку без заздалегідь заданих порогів. Isolation Forest, LSTM для часових рядів.

SLO Burn Rate. Не прогноз майбутнього, а ранній індикатор: якщо error budget сгорає у 14x швидше норми, через 2 години вичерпається місячний бюджет.

Prometheus: trend-based alerting

Просте прогнозування за допомогою predict_linear():

# Передбачити, коли диск заповниться
- alert: DiskWillFillSoon
  expr: |
    predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 24 * 3600) < 0
  for: 30m
  labels:
    severity: warning
  annotations:
    summary: "Disk on {{ $labels.instance }} will be full in < 24 hours"
    current_free: "{{ $value | humanize1024 }}B"

# Передбачити ріст пам'яті
- alert: MemoryLeakDetected
  expr: |
    predict_linear(node_memory_MemAvailable_bytes[2h], 4 * 3600) <
    0.1 * node_memory_MemTotal_bytes
  for: 15m
  labels:
    severity: warning
  annotations:
    summary: "Memory may be exhausted in ~4 hours on {{ $labels.instance }}"

Burn Rate Alert (SLO-based):

- alert: FastBurnRate
  expr: |
    (
      rate(http_requests_total{status=~"5.."}[1h])
      / rate(http_requests_total[1h])
    ) > 14.4 * (1 - 0.999)
  for: 5m
  labels:
    severity: critical
  annotations:
    summary: "Error budget burning 14.4x faster than target — will exhaust in ~2 hours"

AWS CloudWatch Anomaly Detection

AWS Anomaly Detection — вбудований ML без настроювання моделі:

resource "aws_cloudwatch_metric_alarm" "cpu_anomaly" {
  alarm_name          = "cpu-anomaly-detection"
  comparison_operator = "GreaterThanUpperThreshold"
  evaluation_periods  = 2
  threshold_metric_id = "e1"
  alarm_description   = "CPU anomaly detected"

  metric_query {
    id          = "e1"
    expression  = "ANOMALY_DETECTION_BAND(m1, 2)"
    label       = "CPUUtilization (Expected)"
    return_data = true
  }

  metric_query {
    id          = "m1"
    return_data = false
    metric {
      metric_name = "CPUUtilization"
      namespace   = "AWS/EC2"
      period      = 300
      stat        = "Average"
      dimensions = {
        InstanceId = aws_instance.app.id
      }
    }
  }
}

ANOMALY_DETECTION_BAND(m1, 2) передбачає очікуваний діапазон метрики (враховуючи сезонність) та алертує при виході за межі 2σ.

Facebook Prophet для складних паттернів

Для метрик з виразними тижневими/денними паттернами:

from prophet import Prophet
import pandas as pd
import boto3

def fetch_metric_history(metric_name: str, days: int = 90) -> pd.DataFrame:
    cw = boto3.client('cloudwatch')
    # ... fetch from CloudWatch or Prometheus
    return df  # columns: ds (datetime), y (value)

def predict_metric(metric_name: str, hours_ahead: int = 24) -> dict:
    df = fetch_metric_history(metric_name)

    model = Prophet(
        seasonality_mode='multiplicative',
        daily_seasonality=True,
        weekly_seasonality=True,
        changepoint_prior_scale=0.05
    )
    model.fit(df)

    future = model.make_future_dataframe(periods=hours_ahead, freq='h')
    forecast = model.predict(future)

    # Останні hours_ahead рядків — прогноз
    predictions = forecast.tail(hours_ahead)[['ds', 'yhat', 'yhat_lower', 'yhat_upper']]

    # Знайти, коли прогноз перевищує поріг
    threshold = get_threshold(metric_name)
    breach_time = predictions[predictions['yhat'] > threshold]['ds'].min()

    return {
        'metric': metric_name,
        'predicted_breach': breach_time.isoformat() if pd.notna(breach_time) else None,
        'hours_until_breach': (breach_time - pd.Timestamp.now()).total_seconds() / 3600
    }

Практичні сценарії

Передбачення заповнення диску. predict_linear() у Prometheus — стандартний підхід. Алерт за 24-48 годин до заповнення.

Виявлення утечок пам'яті. Монотонний ріст пам'яті при стабільному навантаженні — ознака утечки. Алерт коли швидкість росту перевищує поріг.

Превентивне масштабування. AWS Predictive Scaling аналізує історичний трафік та масштабує ASG перед піковим періодом.

Деградація БД. Ріст P95 query time при стабільному RPS — ознака деградації індексів або bloat. predict_linear(pg_query_duration_p95[2h], 6h) > SLO_threshold.

Інтеграція прогнозів в алерти

Прогнозні алерти мають приводити до дій, а не паніки:

• Алерт «диск заповниться через 24 години» → створити тикет з низьким пріоритетом, не будити ночами
• Алерт «error budget вичерпається через 2 години» → будити oncall негайно

Налаштування через Alertmanager routes:

routes:
  - match:
      alertname: DiskWillFillSoon
    receiver: ticket-only  # Створити тикет, не дзвонити
  - match:
      alertname: FastBurnRate
    receiver: pagerduty-critical

Часова шкала реалізації

• predict_linear алерти у Prometheus — 1-2 дні
• CloudWatch Anomaly Detection — 1 день
• SLO burn rate алерти — 1-2 дні
• Prophet-based forecasting сервіс — 5-10 днів
• Інтеграція алертів + настроювання — 2-3 дні