Знижуємо шум алертів з Moogsoft: налаштування AIOps для enterprise
В enterprise-інфраструктурі з сотнями компонентів та десятками систем моніторингу інженери тонуть в алертах. Кожен день — тисячі подій, з яких лише 5-10% дійсно відображають інцидент. Решта — шум, дублікати та нерелевантні повідомлення. Ми стикалися з проектами, де на одного інженера припадало 200+ алертів за зміну. Moogsoft AIOps вирішує цю проблему: автоматично кластеризує події в Situations та знижує кількість інцидентів до 10 разів.
Ми розгортаємо Moogsoft під ключ: від підключення джерел до калібрування MAIA та інтеграції з ITSM. Наш досвід — понад 30 впроваджень AIOps.
Як Moogsoft знижує MTTR?
Moogsoft використовує три алгоритми кластеризації: temporal (події, близькі за часом), topological (події на пов'язаних хостах/сервісах) та textual (схожі описи). Разом вони дозволяють визначити першопричину інциденту за секунди, а не години. Наприклад, якщо падає PostgreSQL на всіх репліках, система об'єднає 500 алертів в одну Situation "Збій PostgreSQL кластера". В традиційному підході кожен алерт перетворився б на окремий тикет.
Що таке Event, Situation та Workflow?
Event — одиниця вхідних даних. Moogsoft приймає події через REST API, Syslog, SNMP trap, email або вбудовані інтеграції (Prometheus Alertmanager, PagerDuty, Splunk, ServiceNow).
Situation — кластер пов'язаних подій, які AI-алгоритм (MAIA) визнав пов'язаними. Одна Situation може об'єднувати 50-200 events, які в традиційному підході створили б 50-200 окремих тикетів.
Workflow — автоматизація реакції на Situation: сповіщення в Slack, створення інциденту в PagerDuty/ServiceNow, запуск runbook через webhook.
Налаштування ingestion: підключення джерел
Для інтеграції з Prometheus Alertmanager використовується вбудований receiver. В alertmanager.yml:
---
receivers:
- name: moogsoft
webhook_configs:
- url: 'https://<your-tenant>.moogsoft.com/api/v1/events/prometheus'
http_config:
authorization:
type: Bearer
credentials: <api_token>
send_resolved: true
Для Nagios/Zabbix використовується Moogsoft LAM (Log Adapter Module) — агент, який нормалізує формат подій. LAM конфігурується файлом lam.conf:
ALERT_MAP {
source = HOSTNAME
type = NAGIOS_SERVICESTATUS
severity = nagios_state_to_severity($STATE$)
description = $SERVICEOUTPUT$
service = $SERVICEDESC$
}Калібрування MAIA: як навчити алгоритм
MAIA за замовчуванням використовує три алгоритми кластеризації: temporal, topological, textual. В перші тижні алгоритм створює як занадто великі Situations, так і занадто дрібні. Основні параметри калібрування:
| Параметр | Опис | Рекомендація |
|---|---|---|
| Temporal window | Часовий діапазон для групування | 5-20 хвилин |
| Similarity threshold | Поріг схожості для textual clustering | 0.7-0.8 |
| Topology rules | Ручні правила на основі інфраструктури | Так, для критичних сервісів |
Обов'язково використовуємо feedback loop: оператори позначають Situations як коректно або некоректно згруповані. MAIA навчається на цих оцінках — через 4-6 тижнів якість групування значно покращується.
Додаткові параметри калібрування MAIA
- Max situations per day: обмеження кількості створюваних Situations
- Minimum events per situation: мінімальна кількість подій для створення Situation
- Confidence threshold: поріг впевненості алгоритму для автоматичного створення тикету
Чому Moogsoft ефективніший за ручну кореляцію?
| Характеристика | Ручна кореляція | Moogsoft AIOps |
|---|---|---|
| Швидкість аналізу інциденту | Години | Секунди |
| Кількість створюваних тикетів на 1000 алертів | 500-800 | 10-50 |
| Точність визначення першопричини | 30-50% | 85-95% |
| Автоматизація дій | Вимагає ручного втручання | Повна автоматизація workflow |
Moogsoft скорочує кількість алертів у 5-10 разів порівняно з ручною фільтрацією. Це дозволяє зекономити ресурси команди та знизити витрати на обробку інцидентів.
Інтеграція з ITSM та workflow-автоматизація
Типовий production-workflow:
Situation створена → webhook в Slack (#incidents канал) → якщо не acknowledge за 5 хв → створити PagerDuty incident → якщо Situation закрита → auto-resolve PagerDuty + ServiceNow ticket В Moogsoft це конфігурується в розділі Workflows через візуальний редактор або YAML. Для ServiceNow є готовий bi-directional connector — зміна статусу інциденту в ServiceNow автоматично оновлює Situation в Moogsoft.
Що входить в роботу (deliverables)
- Інвентаризація поточних джерел моніторингу: Nagios, Zabbix, Prometheus, APM, хмарні метрики.
- Розгортання Moogsoft у вашій хмарі або on-premise (підтримка Kubernetes, Docker, bare-metal).
- Підключення всіх джерел через LAM або API, налаштування маппінгу полів.
- Первинне калібрування MAIA: налаштування temporal window, similarity threshold, топологічних правил.
- Інтеграція з ITSM (ServiceNow, PagerDuty, Jira) та системами оповіщення (Slack, Telegram, email).
- Навчання команди операторів роботі з інтерфейсом та feedback loop.
- Пост-релізна підтримка 4 тижні: моніторинг якості групування, доналаштування.
Процес впровадження
- Аудит: збір даних про поточні потоки подій, їх обсяг та джерела.
- Проектування: архітектура інтеграцій, схема workflow-автоматизації.
- Розгортання: встановлення Moogsoft, налаштування ingestion, первинне калібрування.
- Тестування: перевірка кореляції на історичних даних, пілотний запуск.
- Продакшн: поступове включення джерел, навчання алгоритму, включення feedback loop.
Строки та вартість
Базове підключення з налаштуванням алертингу — від 2 тижнів. Повне калібрування MAIA та досягнення стабільного зниження шуму — до 12 тижнів. Вартість розраховується після аудиту поточної інфраструктури та обсягу подій. Оцінимо ваш проект — зв'яжіться з нами.
Гарантуємо зниження кількості інцидентів, що доходять до інженерів, мінімум у 3 рази. Зв'яжіться з нами, щоб обговорити деталі та замовити впровадження.
