Разработка системы KPI и метрик для AI-сотрудников
Вы внедрили AI-агента, а через месяц бизнес спрашивает: «Ну и где обещанная экономия?». Без системы KPI ответить нечем. Мы спроектировали десятки таких систем для RAG-ботов, CV-агентов и LLM-воркфлоу. Наши инженеры имеют 10+ лет опыта в AI/ML и реализовали 50+ проектов, включая крупные внедрения в финтехе и e-commerce. KPI для AI принципиально отличаются от человеческих. Нет «удовлетворённости работой», зато есть throughput (задач/мин), error rate (%), hallucination rate. И каждый показатель требует своей архитектуры сбора. Если не настроить метрики сразу, вы рискуете упустить дрейф данных, рост latency или неоправданные затраты на токены.
Что отличает KPI для AI от человеческих метрик?
Агент не устаёт, не берёт больничный, но может уйти в рекурсию или сгенерировать галлюцинацию. Поэтому метрики делятся на четыре категории:
| Категория | Примеры метрик | Типичный порог |
|---|---|---|
| Volume | Tasks/hour, Tokens/s | ≥95% пиковой нагрузки |
| Quality | Human Accept Rate, CSAT | ≥85% для production |
| Efficiency | Cost/Task, Cache Hit Rate | cost снижение на 20% week-over-week |
| Reliability | Uptime, Recovery Time | uptime ≥99.5%, RTO <5 min |
Рекомендуем начинать с Quality и Reliability — именно они критически влияют на бизнес. Сравните: если агент выдаёт 100% accuracy, но cost per task выше зарплаты оператора, проект неокупаем.
Как мы проектируем метрики?
Разберём кейс: AI-агент первичной поддержки (LLM + RAG на базе GPT-4). Мы выделили 5 ключевых показателей:
- Tickets solved without human (target: >70%)
- Average handle time (target: <2 min)
- Customer satisfaction score (target: >4.2/5)
- Cost per resolved ticket (target: <$0.15)
- Escalation rate (target: <25%)
Для расчёта cost per ticket используем total token usage * model price + vector search cost. Настроили дашборд в Grafana с real-time алертами при превышении порога. Дополнительно пишем метрики в Prometheus через кастомный exporter для каждого агента.
В одном проекте для e-commerce платформы мы развернули систему KPI для AI-агента, обрабатывающего 10k запросов в день. После настройки метрик выявили, что 15% запросов с высокой latency (>5s) ухудшали CSAT на 0.3 балла. Оптимизировав RAG pipeline, снизили p99 latency с 8s до 1.2s, что повысило CSAT на 0.5 балла и сократило cost per ticket на 22%.
Почему важно сравнивать с baseline человеком?
Без сравнения с человеком оценка бессмысленна. Мы проводим A/B test: 50% задач решает AI, 50% — человек. Считаем:
- Produced tasks/hour — AI в 2.7 раза быстрее
- Error rate — AI на 3% ниже
- Cost per task — AI дешевле на 40%
Эти цифры дают аргумент для масштабирования. В одном из проектов заказчик сократил штат поддержки на 30% после квартального пилота.
Как выбрать метрики для разных типов агентов?
| Тип агента | Ключевые метрики | Приоритет |
|---|---|---|
| Чат-бот поддержки | CSAT, escalation rate, cost per ticket | Quality |
| CV-инспектор | Precision, Recall, F1-score, latency per image | Quality |
| Рекомендательный | CTR, conversion lift, coverage | Efficiency |
Для каждого типа мы подбираем 3-5 primary метрик и до 10 secondary для детального анализа.
Процесс работы
- Аудит текущей инфраструктуры (1–2 дня): инвентаризация агентов, стека, источников логов.
- Определение целей бизнеса (1 день): какие метрики critical для ROI.
- Проектирование системы сбора (2–3 дня): Prometheus exporters, custom metrics API, semantic logs.
- Разработка дашбордов (3–5 дней): Grafana + alert rules + weekly digest.
- Интеграция с существующими MLOps (1–2 дня): MLflow, Weights & Biases.
- Тестирование и загрузка исторических данных (2 дня): validation на недельном трейне.
Что входит в результат
- Аналитическая записка с обоснованием выбранных KPI
- Grafana дашборд с real-time и weekly views
- Настроенные алерты (Slack/Telegram)
- Документация по метрикам (MkDocs)
- 2 недели support после запуска
Сроки и стоимость
Базовая система — от 1 до 2 недель. Сложные проекты с кастомными метриками — до 4 недель. Стоимость рассчитывается индивидуально, но типичный проект окупается за 2–3 месяца за счёт прозрачности отклонений. Получите консультацию — мы поможем выбрать метрики под ваш бюджет.
Типичные ошибки
- Собирать все метрики сразу — начинайте с 5–10 ключевых
- Игнорировать дрейф (data drift) — accuracy может падать незаметно
- Не учитывать latency LLM при пиковых нагрузках
- Забывать про cost monitoring: один неоптимальный промпт может удвоить счёт
Свяжитесь с нами для предварительного аудита — оценим вашу архитектуру и подберём оптимальный набор KPI за 1 день.