Налаштування трейсингу та аудиту дій AI-агентів у Paperclip
Автономні AI-агенти приймають рішення та здійснюють дії. Для корпоративного застосування критично важлива повна трасування: хто поставив завдання, що агент вирішив, які інструменти викликав, що отримав у відповідь, яке рішення ухвалив.
Що трейсується
Повний trace виконання завдання:
- Вхідне завдання (хто, коли, зміст)
- Кожен LLM-виклик (промпт, відповідь, токени, модель, вартість, час)
- Кожен виклик інструмента (назва, параметри, результат, час)
- Рішення агента (вибір шляху, причина ескалації)
- фінальний результат
Зберігання: PostgreSQL для структурованих даних. S3/MinIO для повних промптів та відповідей (об'ємні дані). Retention policy: за замовчуванням 90 днів, configurable.
Інтеграція з observability-платформами
LangSmith (LangChain): спеціалізований трейсинг для LLM. Візуалізація ланцюжка викликів, пошук по traces, evaluation.
Weights & Biases (W&B): якщо потрібен моніторинг якості відповідей у динаміці.
Datadog/Grafana: системні метрики + custom metrics по агентним завданням.
Audit Log
Незмінний лог всіх процесів (append-only). Підпис кожного запису для виявлення tampering. Використовується для compliance аудиту, аналізу інцидентів, докази дій агента.