Настройка мониторинга и алертов Elasticsearch (Kibana)

Настройка мониторинга и алертов Elasticsearch (Kibana)

Мы часто сталкиваемся с ситуацией: Elasticsearch-кластер молча уходит в red, диск заполняется до 95%, а команда узнает об этом от пользователей. Без алертов инцидент превращается в аварию. Наш опыт показывает, что настройка мониторинга — ключевой этап, который предотвращает простои и потерю данных. В этой статье разберем, как через Kibana настроить полноценный мониторинг и алерты, используя Metricbeat, Watcher и Prometheus. Ниже — проверенные конфиги и советы для продакшена.

Почему мониторинг Elasticsearch критически важен?

Elasticsearch — основа поиска и аналитики во многих проектах. Если кластер падает, бизнес-процессы останавливаются. Мониторинг позволяет заметить degradation заранее: рост JVM heap, заполнение диска, рост latency поиска. Без него вы узнаёте о проблеме от пользователей. Мы предлагаем готовую схему мониторинга с алертами в Telegram/Slack, чтобы вы всегда были в курсе состояния кластера.

Какой инструмент мониторинга выбрать?

Для продакшена рекомендуем комбинацию Metricbeat + Stack Monitoring для базовых метрик и Watcher для алертов. Если у вас уже есть Prometheus, интегрируйте elasticsearch_exporter.

Как работает Stack Monitoring в Kibana?

Kibana Stack Monitoring — встроенный инструмент для сбора метрик Elasticsearch, Logstash и Kibana. Данные можно собирать через Metricbeat (рекомендуется) или встроенным агентом (устарел). Лучше отправлять метрики в отдельный мониторинговый кластер — иначе при сбое основного кластера теряете и мониторинг. Мы используем Metricbeat с X-Pack включенным.

Настройка Metricbeat для сбора метрик ES:

# metricbeat.yml
metricbeat.modules:
  - module: elasticsearch
    xpack.enabled: true
    period: 10s
    hosts: ["https://localhost:9200"]
    username: "remote_monitoring_user"
    password: "${ES_MONITOR_PASSWORD}"
    ssl.certificate_authorities: ["/etc/elasticsearch/certs/ca.crt"]
    scope: cluster
    metricsets:
      - ccr
      - cluster_stats
      - enrich
      - index
      - index_recovery
      - index_summary
      - ml_job
      - node
      - node_stats
      - pending_tasks
      - shard
output.elasticsearch:
  hosts: ["https://monitoring-es:9200"]
  username: "metricbeat_writer"
  password: "${MONITOR_WRITER_PASSWORD}"

Ключевые метрики: на что смотреть

Cluster health — первое, на что смотреть: green — все шарды назначены, yellow — replica не назначены (нормально для одного узла, проблема для продакшена), red — данные недоступны.

JVM heap usage — критический показатель: менее 75% нормально, 75–85% мониторить, >85% деградация, >95% JVM замирает на GC и кластер перестаёт отвечать.

Disk usage per node — ES блокирует индексацию при заполнении диска. Порог flood_stage (95%) — индекс переходит в read-only; high_watermark (90%) — перебалансировка шардов; low_watermark (85%) — норма.

Настройка алертов через Watcher

Watcher — встроенная система оповещений X-Pack. Настраивается через API или Kibana UI. Приведем пример алерта на red статус кластера:

PUT _watcher/watch/cluster_status_red
{
  "trigger": {
    "schedule": {
      "interval": "1m"
    }
  },
  "input": {
    "http": {
      "request": {
        "host": "localhost",
        "port": 9200,
        "path": "/_cluster/health",
        "auth": {
          "basic": {
            "username": "elastic",
            "password": "{{ctx.metadata.es_password}}"
          }
        }
      }
    }
  },
  "condition": {
    "compare": {
      "ctx.payload.status": {
        "eq": "red"
      }
    }
  },
  "actions": {
    "send_telegram": {
      "webhook": {
        "scheme": "https",
        "host": "api.telegram.org",
        "port": 443,
        "method": "post",
        "path": "/bot{{ctx.metadata.telegram_token}}/sendMessage",
        "params": {
          "chat_id": "{{ctx.metadata.telegram_chat_id}}",
          "text": "ALERT: Elasticsearch cluster status is RED! Time: {{ctx.execution_time}}"
        }
      }
    }
  }
}

Алерт на заполнение диска >85%:

PUT _watcher/watch/disk_usage_high
{
  "trigger": {
    "schedule": {
      "interval": "5m"
    }
  },
  "input": {
    "http": {
      "request": {
        "path": "/_nodes/stats/fs",
        "auth": {
          "basic": {
            "username": "elastic",
            "password": "changeme"
          }
        }
      }
    }
  },
  "condition": {
    "script": {
      "source": """
        for (node in ctx.payload.nodes.values()) {
          def total = node.fs.total.total_in_bytes;
          def free = node.fs.total.free_in_bytes;
          def used_pct = (total - free) / total * 100;
          if (used_pct > 85) return true;
        }
        return false;
      """
    }
  },
  "actions": {
    "log": {
      "logging": {
        "level": "warn",
        "text": "High disk usage detected on Elasticsearch node"
      }
    }
  }
}

Как настроить алерты через Kibana UI?

В Kibana 8.x есть раздел Alerts & Actions (Stack Management > Rules). Визуальный конструктор правил без написания JSON вручную. Готовые шаблоны: Elasticsearch cluster health, nodes changed, version mismatch, CPU usage, JVM memory. Каналы уведомлений: Email, Slack, PagerDuty, Webhook (Telegram, Teams).

Мониторинг через Prometheus и Grafana

Если инфраструктура уже использует Prometheus, подключите elasticsearch_exporter:

docker run -d \
 --name elasticsearch_exporter \
 -p 9114:9114 \
 prometheuscommunity/elasticsearch-exporter:latest \
 --es.uri=https://elastic:changeme@localhost:9200 \
 --es.ssl-skip-verify \
 --es.all \
 --es.indices \
 --es.shards

Prometheus scrape_config:

- job_name: 'elasticsearch' static_configs: - targets: ['localhost:9114'] scrape_interval: 30s 

Импорт Grafana дашборда ID 6483 (Elasticsearch Overview) — готовый дашборд с основными метриками. Как указано в документации Elasticsearch, это упрощает визуализацию.

Что входит в нашу работу

Мы предоставляем: развертывание Metricbeat и настройка дашбордов Stack Monitoring; настройка алертов через Watcher или Kibana Rules с каналами Telegram/Slack/PagerDuty; интеграция с Prometheus и Grafana (при наличии инфраструктуры); документация и инструкция для вашей команды; 3 месяца поддержки и донастройки порогов. Наш опыт — 5 лет в администрировании Elasticsearch, более 20 проектов. Гарантируем SLA на время реакции. Наши инженеры имеют сертификаты Elastic Certified Engineer.

Сроки

Базовый мониторинг через Metricbeat и Stack Monitoring — 1 день. Алерты — 1 день. Продвинутый мониторинг с Prometheus+Grafana — 1-2 дня. Итого от 2 до 4 дней. Стоимость рассчитывается индивидуально.

Закажите консультацию — мы оценим ваш кластер и предложим оптимальное решение. Свяжитесь с нами, чтобы обсудить детали.