Разработка AI-системы скоринга диалогов по чек-листу качества
Чек-листовый скоринг — строгая оценка: выполнен ли каждый обязательный пункт стандарта обслуживания или нет. В отличие от общей оценки качества, чек-лист даёт бинарный ответ по каждому критерию: да/нет.
Структура чек-листа
Чек-лист разрабатывается совместно с бизнесом и менеджерами по качеству. Типовая структура:
✓ Открытие диалога
[ ] Приветствие по имени клиента (если известно)
[ ] Представление своего имени
[ ] Предложение помощи
✓ Понимание проблемы
[ ] Переформулировка проблемы клиента для подтверждения
[ ] Уточняющий вопрос при необходимости
✓ Решение
[ ] Предоставлено конкретное решение
[ ] Объяснено, что нужно сделать клиенту
[ ] Проверено понимание клиентом
✓ Закрытие
[ ] Предложение дополнительной помощи
[ ] Корректное прощание
LLM как auditor
Модель анализирует диалог и для каждого пункта выносит вердикт с цитатой:
class ChecklistItem(BaseModel):
criterion: str
passed: bool
evidence: str | None # цитата из диалога, подтверждающая оценку
comment: str | None
class ChecklistAudit(BaseModel):
items: list[ChecklistItem]
total_score: float # % выполненных пунктов
critical_failures: list[str] # обязательные пункты, которые не выполнены
Весовые коэффициенты
Не все пункты одинаково важны. «Корректное прощание» — 1 балл. «Предоставлено верное решение» — 5 баллов. Критические ошибки (грубость, нарушение политики) → обнуление итоговой оценки независимо от остальных пунктов.
Пересмотр чек-листа ежеквартально: что изменилось в стандартах обслуживания, какие новые критерии нужны, какие устарели. Версионирование чек-листа — оценки за разные периоды сравнимы только в рамках одной версии.