Розробка AI-цифрового ризик-менеджера (AI Risk Manager)

Щодня ризик-менеджер обробляє сотні сигналів: котирування стрибають, кредитні рейтинги змінюються, ліквідність стискається. Ручний аналіз не встигає за потоком даних — один пропущений порушення ліміту може коштувати мільйони. AI Risk Manager вирішує цю проблему: автономний агент об'єднує моніторинг, кількісну оцінку та генерацію звітів в єдиному контурі. Він обробляє сигнали на порядки швидше за людину, а точність прогнозів підтверджена на історичних тестах.

Ми автоматизуємо повний спектр фінансових ризиків: ринковий (VaR, CVaR, греки), кредитний (PD, LGD, EL), ліквіднісний (LCR, NSFR), операційний (KRI) та концентраційний. Для кожного типу ризику використовується методологія, схвалена регуляторами. Додатково впроваджуємо NLP-моніторинг новин — агент аналізує тональність та виділяє ризик-події з тисяч статей на добу.

Агентна архітектура на LangGraph

В основі AI Risk Manager лежить граф станів LangGraph. LLM (Claude Opus-4) координує набір інструментів: калькулятори ризик-метрик, класифікатори порушень лімітів, генератор звітів. Рішення приймаються з ланцюжком міркувань (chain-of-thought), що забезпечує explainability.

from langgraph.graph import StateGraph, END
from langchain_anthropic import ChatAnthropic

class RiskManagerAgent:
    def __init__(self):
        self.llm = ChatAnthropic(model='claude-opus-4')
        self.tools = [
            market_risk_calculator,
            credit_risk_scorer,
            liquidity_risk_monitor,
            compliance_checker,
            report_generator
        ]
        self.graph = self.build_graph()

    def build_graph(self):
        workflow = StateGraph(AgentState)
        workflow.add_node('assess_risks', self.assess_all_risks)
        workflow.add_node('identify_breaches', self.check_limit_breaches)
        workflow.add_node('generate_actions', self.recommend_actions)
        workflow.add_node('escalate', self.escalate_to_human)
        workflow.add_node('generate_report', self.create_risk_report)

        workflow.add_conditional_edges(
            'identify_breaches',
            lambda state: 'escalate' if state['critical_breaches'] else 'generate_actions'
        )
        return workflow.compile()

Моніторинг ринкового ризику в реальному часі

Розрахунок VaR та CVaR виконується кожні 5 хвилин за допомогою історичної симуляції або параметричного підходу. Система обробляє 10 000+ позицій за 15 секунд, latency p99 — 2.3 с. Ліміти перевіряються по кожному портфелю — при перевищенні агент ескалює алерт ризик-менеджеру або CRO.

import numpy as np
from scipy.stats import norm

def calculate_portfolio_var(returns, weights, confindence=0.99, horizon=1):
    """Historical Simulation VaR"""
    portfolio_returns = returns @ weights
    var = np.percentile(portfolio_returns, (1 - confidence) * 100)
    cvar = portfolio_returns[portfolio_returns <= var].mean()
    return var * np.sqrt(horizon), cvar * np.sqrt(horizon)

def parametric_var(portfolio_return, portfolio_vol, confidence=0.99, horizon=1):
    """Параметричний VaR"""
    z_score = norm.ppf(1 - confidence)
    return (portfolio_return * horizon + z_score * portfolio_vol * np.sqrt(horizon))

Чому AI-агент ефективніший за традиційні моделі?

Традиційні системи перераховують VaR раз на добу та спираються на статичні правила. AI Risk Manager працює безперервно: кожні 5 хвилин оновлює позиції, за 10–15 секунд оцінює всі ризики, включаючи NLP-моніторинг новин. На бек-тестах за трирічний період система виявила на 34% більше порушень лімітів, ніж людина, а середній час реакції скоротився з 6 годин до 45 секунд.

Як AI Risk Manager обробляє кредитний ризик та NLP-новини?

Для кредитного ризику агент розраховує PD, LGD, EL та RAROC по кожному контрагенту. При стрибку CDS-спреду більше 50 б.п. генерується алерт з severity high. NLP-модуль на базі FinBERT та кастомного класифікатора аналізує новини, витягуючи ризик-події за сутностями з watch-листа.

def credit_portfolio_monitor(credit_portfolio, market_data):
    """Щоденний перегляд кредитного портфеля"""
    alerts = []
    for exposure in credit_portfolio:
        cds_change = market_data['cds_spread'][exposure.counterparty]
        if cds_change > 50:
            alerts.append({
                'counterparty': exposure.counterparty,
                'type': 'cds_spike',
                'severity': 'high' if cds_change > 100 else 'medium',
                'cds_change': cds_change,
                'exposure': exposure.notional
            })
        current_rating = get_latest_rating(exposure.counterparty)
        if rating_downgrade(exposure.last_known_rating, current_rating) >= 2:
            alerts.append({
                'counterparty': exposure.counterparty,
                'type': 'rating_downgrade',
                'old_rating': exposure.last_known_rating,
                'new_rating': current_rating,
                'exposure': exposure.notional
            })
    return sorted(alerts, key=lambda x: x['exposure'], reverse=True)

Автоматична звітність та процес впровадження

Агент щодня формує звіт з narrative summary, таблицями ризик-метрик та пропозиціями щодо хеджування. Регуляторні форми (FRTB, Basel III/IV, форма 634-П) генеруються автоматично. Інтеграція з існуючими системами через API (Bloomberg, Murex, Calypso) налаштовується за 2–6 тижнів.

1. Аналітика: інвентаризація джерел, визначення лімітів, KRI.
2. Проектування: вибір архітектури LangGraph, налаштування LLM, RAG.
3. Реалізація: розробка двигунів VaR/CVaR, кредитного моніторингу, NLP.
4. Тестування: бек-тестування на 3+ роках, стрес-тести, A/B порівняння.
5. Деплой: розгортання в контурі банку (on-prem або VPC), integration with approval workflow.

Терміни: базовий двигун — від 6 до 8 тижнів, повноцінна версія з NLP — від 5 до 6 місяців. Вартість розраховується індивідуально.

Що входить в роботу

• Архітектурна документація (model card, data flow diagram, SLA metrics).
• Вихідний код агента та інструментів (Python, LangGraph).
• Дашборди для моніторингу ризиків та продуктивності (Grafana).
• Навчання команди (2-3 дні).
• Підтримка 6 місяців після запуску (оновлення моделей при зміні ринку).

У нас 5+ років досвіду в AI/ML для фінансового сектору, понад 30 успішних проектів. Гарантуємо дотримання регуляторних вимог та explainability рішень. Замовте пілотний проект — зв'яжіться з нами для оцінки вашого портфеля. Отримайте консультацію: ми проаналізуємо поточні процеси та запропонуємо оптимальну архітектуру AI Risk Manager.

Виявлення аномалій: автоенкодери, Isolation Forest, PyOD

Ми стикаємося з цим болем постійно: моніторинг сервера показує CPU 85%, пам'ять 91% — це норма в годину пік чи початок атаки? Класифікатор тут не допоможе: аномалії за визначенням рідкісні, різноманітні та заздалегідь не розмічені. Supervised learning потребує прикладів аномалій у навчальній вибірці — а значить, не працює для того, про що ви ще не знаєте. Наш досвід показує: без unsupervised-підходу виявлення перетворюється на гадання.

Чому виявлення аномалій потребує unsupervised підходу?

Головна проблема — відсутність розмітки та дисбаланс класів в екстремальній формі. Фрод-транзакції становлять 0.01–0.1% від загального об'єму. Виробничий дефект — 0.5–3%. При такому співвідношенні навіть наївний класифікатор «все нормально» дасть accuracy 99.9% і precision/recall для аномального класу, близькі до нуля. Supervised-моделі тут безсилі.

Друга проблема — «нормальність» завжди контекстна. Чи нормально, що користувач логіниться о 3 годині ночі? Залежить від його історії та часової зони. Чи нормальна вібрація підшипника 2.3 мм/с? Залежить від режиму роботи верстата та його віку. Тому ми вбудовуємо контекст у модель через feature engineering та часові вікна.

Третя — оцінка якості. Немає стандартного test set, AUC-ROC вважається тільки якщо є хоча б трохи розмічених прикладів. На повністю нерозмічених даних — тільки domain expert validation та непрямі метрики.

Як відрізнити аномалію від шуму в реальному часі?

Відповідь — адаптивні пороги та моніторинг статистик моделі. У розділі кейсу покажемо, як це працює.

Методи та інструменти

Isolation Forest — стандартний baseline для табличних даних. Ідея: аномалії ізолюються швидше при випадковому розбитті простору ознак. Працює добре при contamination 0.01–0.1, стійкий до масштабу ознак, не потребує нормалізації. Реалізація в sklearn.ensemble.IsolationForest.

Типова помилка: ставити contamination='auto' без розуміння даних. Auto-режим передбачає поріг -0.5, що не завжди відповідає реальній частці аномалій. Краще: оцініть очікуваний відсоток аномалій через domain knowledge і задайте явно. Ми гарантуємо підбір contamination під ваш кейс.

PyOD (Python Outlier Detection) — бібліотека з 40+ алгоритмами під єдиним API. Включає: OCSVM, LOF, COPOD, ECOD, DeepSVDD, AutoEncoder. Зручно для швидкого порівняння методів на одних даних.

Автоенкодери — основний метод для неструктурованих даних (часові ряди, зображення, логи). Ідея: навчаємо мережу відновлювати нормальні дані, аномалії дають високу помилку реконструкції. Поріг аномальності — 95-й або 99-й процентиль помилки на validation set з нормальних даних.

Практична проблема автоенкодерів: переучування на «нормальних» паттернах, які все одно зустрічаються рідко. Якщо в train set є хоча б кілька аномалій, модель може навчитися їх добре відновлювати. Рішення: ретельне очищення training data або використання Variational Autoencoder (VAE), який краще узагальнює.

LSTMAE для часових рядів — LSTM-автоенкодер захоплює часові залежності краще, ніж звичайний AE. Особливо ефективний для мультиваріантних часових рядів (10+ сенсорів одночасно). Реалізація через PyTorch, навчання з MSELoss на ковзних вікнах.

Детально: виявлення аномалій у промислових часових рядах

Задача: вібраційні датчики на 12 насосах хімічного підприємства, 6 сенсорів на насос, частота 100 Гц. Потрібно попередити про наближену поломку за 4–24 години.

Архітектура рішення:

Сирові дані → feature extraction (RMS, куртозис, піковий фактор, FFT-амплітуди на резонансних частотах) → нормалізація по ковзному вікну 24 год → LSTMAE → reconstruction error → порогова логіка + алертинг.

Розмір вікна LSTM: 60 секунд (6000 точок на 100 Гц). Занадто мале вікно — не захоплює повільні паттерни. Занадто велике — втрачає чутливість до швидких змін.

Поріг аномальності: не фіксований, а адаптивний. threshold = mean(errors_last_7d) + 3 * std(errors_last_7d). При дрейфі нормального стану (плановий знос) поріг адаптується, уникаючи false positives.

Результат на 6-місячному пілоті: виявлено 4 з 5 реальних передвідмовних станів (recall 0.8), 2 хибні тривоги за 6 місяців (precision 0.67). До впровадження: 3 незаплановані зупинки зі значними збитками. Економія після впровадження — значна сума за півроку (звіт про пілот на об'єкті клієнта).

Фрод-детекція: специфіка фінансових даних

Фінансові транзакції мають кілька особливостей, що ускладнюють виявлення:

• Concept drift: паттерни фроду змінюються швидше нормальної поведінки. Модель, навчена півроку тому, застаріває.
• Adversarial adaptation: просунуті шахраї адаптуються до виявлення — роблять транзакції схожими на нормальні.
• Часова залежність: серія нормальних транзакцій, а потім один незвичайний переказ — це аномалія послідовності, а не одиничної точки.

Практичний стек для фрод-детекції: LightGBM з SMOTE-oversampling для supervised частини (за відомими фрод-кейсами) + Isolation Forest для unsupervised (нові паттерни). Обидва сигнали об'єднуються в ансамбль, фінальне рішення — через пороги, налаштовані на прийнятний FPR (0.1–1% від транзакцій на ручну перевірку).

Як оцінити якість без розмітки?

Коли ground truth немає, для оцінки використовуємо:

• Synthetic anomaly injection: додаємо штучні аномалії (spike, level shift, point outlier) і дивимося, чи виявляє їх модель
• Expert validation: випадкова вибірка топ-K аномалій від моделі → review експерта → precision
• Business metric: чи знизилася кількість пропущених інцидентів / хибних тривог після впровадження

Процес роботи

1. Інтерв'ю з доменними експертами — розуміємо, що таке «нормальність» і які інциденти вже були.
2. EDA та підготовка даних — очищення, створення ознак, часові вікна.
3. Baseline (Isolation Forest) — швидка валідація на відомих інцидентах.
4. Вибір та кастомізація моделі — Autoencoder / LSTM-AE / ансамбль.
5. Навчання, валідація з синтетичними аномаліями.
6. Розгортання в production — пайплайн на Kafka + Flink / Airflow, алертинг в Telegram/Slack, моніторинг дрифту.
7. Post-deployment супровід — моніторинг метрик моделі, оновлення порогів.

Що входить у роботу

• Аудит поточних даних та процесів
• Розробка та навчання моделей (Isolation Forest / Autoencoder / LSTM-AE / ансамбль)
• Налаштування адаптивних порогів та алертингу
• Панель моніторингу аномалій (Grafana / Streamlit)
• Документація model card та pipeline
• Навчання вашої команди (2–3 сесії)
• Гарантійна підтримка 3 місяці

Терміни: baseline-система з одним методом — 2–4 тижні. Production-система з адаптивними порогами, алертингом та моніторингом — 2–5 місяців. Вартість розраховується індивідуально під ваш кейс.

Наша команда має 8+ років досвіду в промисловій аналітиці та 15+ успішних проектів з виявлення аномалій в телеметрії, фінансах та IT-моніторингу. Отримайте консультацію — розкажемо, як вирішити вашу задачу.