Разработка AI-системы автоматической оценки чатов операторов
Ручная оценка качества чатов — слабое место большинства контакт-центров: аналитики проверяют 2–5% диалогов. AI-скоринг анализирует 100% чатов и даёт объективную оценку по стандартизированным критериям.
Критерии качества
Типовой чек-лист для оценки чата включает несколько групп критериев:
Коммуникация: приветствие и прощание по стандарту, обращение по имени, профессиональный тон, отсутствие ошибок, время ответа в рамках SLA.
Решение проблемы: правильное понимание вопроса, точность ответа, предоставление решения (не «обратитесь в другой отдел»), проверка удовлетворённости в конце.
Соблюдение процедур: предложение дополнительных продуктов (если применимо), корректная эскалация, заполнение CRM.
Эмоциональный интеллект: эмпатия при жалобах, сдержанность при агрессии клиента.
Реализация AI-скоринга
class ChatQualityScore(BaseModel):
greeting_score: float # 0-1
problem_understanding: float
solution_accuracy: float
communication_quality: float
procedure_compliance: float
empathy_score: float
overall_score: float # взвешенная сумма
highlights: list[str] # конкретные примеры из чата
improvement_areas: list[str] # что улучшить
def score_chat(dialog: list[dict]) -> ChatQualityScore:
# Передаём весь диалог + критерии оценки
return llm.parse(
build_scoring_prompt(dialog),
response_format=ChatQualityScore
)
Обеспечение объективности
AI может быть предвзятым — нужна калибровка на человеческих оценках. Процесс:
- Эксперты вручную оценивают 200–500 чатов
- AI обучается / калибруется на этих оценках
- Регулярное сравнение AI-оценок с ручными (Pearson correlation > 0.8 — хорошо)
Обратная связь операторам
Автоматические еженедельные отчёты для каждого оператора: сильные стороны, зоны роста, динамика. Геймификация: рейтинги в команде, бейджи за улучшение. Менеджерский дашборд: тепловая карта проблемных критериев по команде — где нужно дообучение.