Аудит існуючої AI-системи: якість, продуктивність, безпека
AI-системи деградують. Моделі дрейфують, дані змінюються, загрози еволюціонують, бізнес-вимоги трансформуються. Регулярний аудит дозволяє виявити проблеми до їхнього впливу на бізнес.
Що перевіряється
Quality Audit:
Model Performance: поточні метрики vs. baseline при депло. Concept drift — чи змінилося розподілення даних. Продуктивність на підгрупах (слайсинг за сегментами).
Data Quality: pipeline integrity – дані доходять без трансформаційних помилок. Feature distribution drift. Missing values, outliers у production.
Output Quality: для LLM-систем - evaluation на golden dataset. Hallucination rate. Relevance scores.
Performance Audit:
Великі відсотки (p50, p95, p99). Черезвипуск під навантаженням. Resource utilization (GPU/CPU). Cost per inference. Bottleneck analysis.
Security Audit:
Adversarial Robustness: стійкість до adversarial inputs. Prompt injection для LLM-систем. Data poisoning vectors.
Model Extraction: ризик крадіжки моделі через API.
Data Privacy: витоку training data через model inversion. PII у логах.
Access Control: хто може взяти модель, з якою обмеженою швидкістю, яка введення є filtered.
Процес аудиту
Тиждень 1: Документація. Наявна документація системи, архітектура, версії.
Тижня 2–3: Technical assessment. Performance benchmarking. Security tests.
Тиждень 4: Findings report. Приоритетні зауваження.
Deliverables
Audit Report: executive summary + technical details. Risk Register із пріоритизацією. Remediation Roadmap з оцінкою зусиль. Monitoring Recommendations.
Періодичність
Рекомендуємо: quarterly для high-risk систем, semi-annual для medium-risk, annual для low-risk.