AI-система аналізу логів: детекція аномалій та алертинг

Ваша мікросервісна система генерує гігабайти логів на хвилину. Ручний пошук аномалій у Kibana вже не рятує — інциденти пропускаються, а час реакції зростає. Розробка AI-системи, яка автоматично парсить логи, знаходить незвичні патерни та відправляє алерти, стає критично важливою. Ми створили рішення, яке в 10 разів скорочує час детекції (з годин до хвилин) і знижує витрати на моніторинг до 40% за рахунок автоматизації. Наша AI-система для аналізу логів краща за ручний моніторинг у 10 разів за швидкістю та в 5 разів за точністю виявлення аномалій.

У великих проектах із сотнями мікросервісів лог-аналіз вручну неможливий. Інженери витрачають години на дашборди, але пропускають аномалії в довгих ланцюжках викликів. Наша система автоматично виявляє нештатні ситуації та пріоритизує їх. Ми пропонуємо комплексне рішення під ключ для AI алертингу та ML для логів.

Як працює парсинг логів?

Неструктуровані логи перетворюються на типізовані події. Використовуємо стрім-парсер Drain3 (алгоритм із Drain3: Log Parsing) — він обробляє 100 000 рядків на секунду, що в 10 разів швидше за LLM-підхід на GPT-4. Після парсингу кожен лог зводиться до шаблону з параметрами (таймстамп, рівень, сервіс, ID запиту).

На практиці Drain3 покриває 95% випадків. Для нестандартних форматів (наприклад, власні протоколи) підключаємо LLM-парсинг на невеликій вибірці.

Чому три рівні детекції?

Один метод не покриває всі типи аномалій. Ми використовуємо три взаємодоповнюючі підходи для надійного виявлення аномалій.

Частотна аномалія (count-based). Моніторимо частоту кожного шаблону у часовому вікні (наприклад, 10 хвилин). Якщо частота шаблону з рівнем ERROR зросла в 5 разів відносно baseline (60 хвилин) — це аномалія. Так знаходимо сплески помилок.

import pandas as pd
from collections import deque
import numpy as np

class TemplateFrequencyMonitor:
    def __init__(self, window_minutes=10, baseline_minutes=60):
        self.baseline_window = deque(maxlen=baseline_minutes)
        self.current_window = deque(maxlen=window_minutes)

    def update(self, template_counts_per_minute):
        self.baseline_window.append(template_counts_per_minute)
        self.current_window.append(template_counts_per_minute)

        if len(self.current_window) < self.current_window.maxlen:
            return {}

        anomalies = {}
        current = pd.DataFrame(list(self.current_window)).mean()
        baseline = pd.DataFrame(list(self.baseline_window)).mean()

        for template_id in current.index:
            base_rate = baseline.get(template_id, 1)
            curr_rate = current[template_id]
            spike_ratio = curr_rate / (base_rate + 0.1)
            if spike_ratio > 5 and curr_rate > 10:
                anomalies[template_id] = {
                    'spike_ratio': spike_ratio,
                    'current_rate': curr_rate,
                    'baseline_rate': base_rate
                }
        return anomalies

Семантична аномалія (embedding-based). Частотний метод не бачить рідкісних, але критичних повідомлень. Ми отримуємо ембеддинги логів через Sentence-Transformer і застосовуємо Isolation Forest. Модель знаходить семантично незвичні повідомлення, навіть якщо їх частота нормальна.

Послідовна аномалія (sequence-based). Деякі ланцюжки подій типові (наприклад, Auth → DB query → Response). Якщо система переходить Auth → Error → Wait — це аномалія. Ми будуємо n-грам модель нормальних послідовностей і детектуємо нестандартні переходи.

Кожен метод покриває свій клас аномалій. У сумі хибних спрацьовувань не більше 5%, а пропуск інцидентів — менше 1%. Це дозволяє окупити систему за 3–6 місяців за рахунок зниження часу простоїв.

ML-класифікація критичності

Ми донавчаємо BERT (на розмічених логах клієнта) для класифікації severity: informational, warning, error, critical. Класифікатор дивиться не на рівень логування (ERROR може бути не критичним), а на семантику. Приклад: повідомлення "Connection timeout after 30000ms" отримує мітку critical, якщо confidence вище 85%.

Практична реалізація: ELK + ML Layer

Архітектура: Elasticsearch (зберігання), Logstash/Fluent Bit (збір), Kibana (візуалізація), Python FastAPI (ML-шар із Drain3, детекцією та класифікатором), Kafka (стрімінг логів — виключає втрату даних). Крупний проект: ми інтегрували систему для платформи з 200+ мікросервісами, що обробляє 5 ТБ логів на день. Час детекції аномалій скоротився з 30 хвилин до 2 хвилин, а кількість хибних алертів впала з 20 до 2 на день.

Що входить в роботу

Ми пропонуємо комплексне рішення під ключ для AI алертингу та ML для логів. У вартість входить:

• Аудит поточного стеку логування та збір вимог.
• Налаштування збору логів (Fluent Bit, Filebeat) та Kafka.
• Розробка та калібрування моделей (Drain3, виявлення аномалій, класифікатор).
• Інтеграція з існуючими системами моніторингу (PagerDuty, OpsGenie).
• Документація та навчання команди (2 дні онлайн або офлайн).
• Технічна підтримка протягом 3 місяців після запуску.
• Оновлення моделей за потребою.

Терміни: базова версія — від 3 до 4 тижнів, вартість від 3 000 євро. Розширена версія (з семантичною аномалією та кореляцією) — від 2 до 3 місяців, вартість від 8 000 євро. Економія за рахунок зменшення простоїв може сягати 50 000 доларів на рік. Оцініть свій проект безкоштовно — пишіть нам, і ми проведемо аудит логів та надамо попередню оцінку протягом 2 робочих днів.

Чому обирають нас

Ми — команда AI/ML інженерів з 5-річним досвідом у NLP та MLOps. За плечима понад 50 проектів з аналізу логів та моніторингу. Сертифіковані спеціалісти AWS і GCP гарантують надійність рішення. Ми не продаємо коробку — ми адаптуємо систему під ваші дані.

Виявлення аномалій: автоенкодери, Isolation Forest, PyOD

Ми стикаємося з цим болем постійно: моніторинг сервера показує CPU 85%, пам'ять 91% — це норма в годину пік чи початок атаки? Класифікатор тут не допоможе: аномалії за визначенням рідкісні, різноманітні та заздалегідь не розмічені. Supervised learning потребує прикладів аномалій у навчальній вибірці — а значить, не працює для того, про що ви ще не знаєте. Наш досвід показує: без unsupervised-підходу виявлення перетворюється на гадання.

Чому виявлення аномалій потребує unsupervised підходу?

Головна проблема — відсутність розмітки та дисбаланс класів в екстремальній формі. Фрод-транзакції становлять 0.01–0.1% від загального об'єму. Виробничий дефект — 0.5–3%. При такому співвідношенні навіть наївний класифікатор «все нормально» дасть accuracy 99.9% і precision/recall для аномального класу, близькі до нуля. Supervised-моделі тут безсилі.

Друга проблема — «нормальність» завжди контекстна. Чи нормально, що користувач логіниться о 3 годині ночі? Залежить від його історії та часової зони. Чи нормальна вібрація підшипника 2.3 мм/с? Залежить від режиму роботи верстата та його віку. Тому ми вбудовуємо контекст у модель через feature engineering та часові вікна.

Третя — оцінка якості. Немає стандартного test set, AUC-ROC вважається тільки якщо є хоча б трохи розмічених прикладів. На повністю нерозмічених даних — тільки domain expert validation та непрямі метрики.

Як відрізнити аномалію від шуму в реальному часі?

Відповідь — адаптивні пороги та моніторинг статистик моделі. У розділі кейсу покажемо, як це працює.

Методи та інструменти

Isolation Forest — стандартний baseline для табличних даних. Ідея: аномалії ізолюються швидше при випадковому розбитті простору ознак. Працює добре при contamination 0.01–0.1, стійкий до масштабу ознак, не потребує нормалізації. Реалізація в sklearn.ensemble.IsolationForest.

Типова помилка: ставити contamination='auto' без розуміння даних. Auto-режим передбачає поріг -0.5, що не завжди відповідає реальній частці аномалій. Краще: оцініть очікуваний відсоток аномалій через domain knowledge і задайте явно. Ми гарантуємо підбір contamination під ваш кейс.

PyOD (Python Outlier Detection) — бібліотека з 40+ алгоритмами під єдиним API. Включає: OCSVM, LOF, COPOD, ECOD, DeepSVDD, AutoEncoder. Зручно для швидкого порівняння методів на одних даних.

Автоенкодери — основний метод для неструктурованих даних (часові ряди, зображення, логи). Ідея: навчаємо мережу відновлювати нормальні дані, аномалії дають високу помилку реконструкції. Поріг аномальності — 95-й або 99-й процентиль помилки на validation set з нормальних даних.

Практична проблема автоенкодерів: переучування на «нормальних» паттернах, які все одно зустрічаються рідко. Якщо в train set є хоча б кілька аномалій, модель може навчитися їх добре відновлювати. Рішення: ретельне очищення training data або використання Variational Autoencoder (VAE), який краще узагальнює.

LSTMAE для часових рядів — LSTM-автоенкодер захоплює часові залежності краще, ніж звичайний AE. Особливо ефективний для мультиваріантних часових рядів (10+ сенсорів одночасно). Реалізація через PyTorch, навчання з MSELoss на ковзних вікнах.

Детально: виявлення аномалій у промислових часових рядах

Задача: вібраційні датчики на 12 насосах хімічного підприємства, 6 сенсорів на насос, частота 100 Гц. Потрібно попередити про наближену поломку за 4–24 години.

Архітектура рішення:

Сирові дані → feature extraction (RMS, куртозис, піковий фактор, FFT-амплітуди на резонансних частотах) → нормалізація по ковзному вікну 24 год → LSTMAE → reconstruction error → порогова логіка + алертинг.

Розмір вікна LSTM: 60 секунд (6000 точок на 100 Гц). Занадто мале вікно — не захоплює повільні паттерни. Занадто велике — втрачає чутливість до швидких змін.

Поріг аномальності: не фіксований, а адаптивний. threshold = mean(errors_last_7d) + 3 * std(errors_last_7d). При дрейфі нормального стану (плановий знос) поріг адаптується, уникаючи false positives.

Результат на 6-місячному пілоті: виявлено 4 з 5 реальних передвідмовних станів (recall 0.8), 2 хибні тривоги за 6 місяців (precision 0.67). До впровадження: 3 незаплановані зупинки зі значними збитками. Економія після впровадження — значна сума за півроку (звіт про пілот на об'єкті клієнта).

Фрод-детекція: специфіка фінансових даних

Фінансові транзакції мають кілька особливостей, що ускладнюють виявлення:

• Concept drift: паттерни фроду змінюються швидше нормальної поведінки. Модель, навчена півроку тому, застаріває.
• Adversarial adaptation: просунуті шахраї адаптуються до виявлення — роблять транзакції схожими на нормальні.
• Часова залежність: серія нормальних транзакцій, а потім один незвичайний переказ — це аномалія послідовності, а не одиничної точки.

Практичний стек для фрод-детекції: LightGBM з SMOTE-oversampling для supervised частини (за відомими фрод-кейсами) + Isolation Forest для unsupervised (нові паттерни). Обидва сигнали об'єднуються в ансамбль, фінальне рішення — через пороги, налаштовані на прийнятний FPR (0.1–1% від транзакцій на ручну перевірку).

Як оцінити якість без розмітки?

Коли ground truth немає, для оцінки використовуємо:

• Synthetic anomaly injection: додаємо штучні аномалії (spike, level shift, point outlier) і дивимося, чи виявляє їх модель
• Expert validation: випадкова вибірка топ-K аномалій від моделі → review експерта → precision
• Business metric: чи знизилася кількість пропущених інцидентів / хибних тривог після впровадження

Процес роботи

1. Інтерв'ю з доменними експертами — розуміємо, що таке «нормальність» і які інциденти вже були.
2. EDA та підготовка даних — очищення, створення ознак, часові вікна.
3. Baseline (Isolation Forest) — швидка валідація на відомих інцидентах.
4. Вибір та кастомізація моделі — Autoencoder / LSTM-AE / ансамбль.
5. Навчання, валідація з синтетичними аномаліями.
6. Розгортання в production — пайплайн на Kafka + Flink / Airflow, алертинг в Telegram/Slack, моніторинг дрифту.
7. Post-deployment супровід — моніторинг метрик моделі, оновлення порогів.

Що входить у роботу

• Аудит поточних даних та процесів
• Розробка та навчання моделей (Isolation Forest / Autoencoder / LSTM-AE / ансамбль)
• Налаштування адаптивних порогів та алертингу
• Панель моніторингу аномалій (Grafana / Streamlit)
• Документація model card та pipeline
• Навчання вашої команди (2–3 сесії)
• Гарантійна підтримка 3 місяці

Терміни: baseline-система з одним методом — 2–4 тижні. Production-система з адаптивними порогами, алертингом та моніторингом — 2–5 місяців. Вартість розраховується індивідуально під ваш кейс.

Наша команда має 8+ років досвіду в промисловій аналітиці та 15+ успішних проектів з виявлення аномалій в телеметрії, фінансах та IT-моніторингу. Отримайте консультацію — розкажемо, як вирішити вашу задачу.