AI-система емоційних реакцій цифрового аватара
Аватар, який «чує» та «чує» — якісно інший досвід порівняно з аватаром, який просто говорить. Емоційні реакції підвищують залученість, довіру та сприйманий інтелект системи. Ми будуємо повний emotion pipeline: від детекції емоцій користувача до вираження їх аватаром.
Архітектура системи
Emotion Input Pipeline:
Голосовий канал: SpeechBrain / audeering/wav2vec2 для розпізнавання емоцій з аудіо. 4-класова система (нейтральний, позитивний, негативний, напружений) — точність ~82% на IEMOCAP. 8-класова (страх, злість, радість, грусть, сюрприз, відраза, презирство, нейтральний) — точність ~72%.
Відео-канал: DeepFace / FER+ / ABAW моделі для facial expression recognition через WebRTC. MediaPipe FaceMesh для 478 keypoints + класифікатор.
Текстовий канал: BERT-based sentiment analysis (CardiffNLP) для тонального аналізу повідомлень. Context-aware: «це складне завдання» ≠ негатив, якщо контекст технічний.
Emotion Fusion: Bayesian fusion трьох каналів. Пріоритети: відео > аудіо > текст (при доступності). Temporal smoothing (exponential moving average з window 2–3 секунди) для запобігання дергавим переключенням.
Emotion Output — Avatar:
Обличчя: FACS-based blend shapes через emotion-to-AU mapping. Емоція «радість» → AU6 (щоки) + AU12 (куточки рота) + AU25 (відкривання рота). Інтенсивність масштабується.
Голос: ElevenLabs emotion параметри (stability, similarity) — тонке налаштування виразності TTS у реальному часі.
Жести: бібліотека gesture clips, триґеровані за emotion state. Позитив → відкриті жести; Напруження → зменшення жестикуляції.
Взгляд: збільшений eye contact при позитиві, gaze aversion при конфліктному контенті.
Конвеєр розробки
Тижні 1–3: Настройка emotion detection (вибір каналів за вимогами). Тестування на репрезентативних прикладах аудиторії.
Тижні 4–7: Розробка emotion fusion engine. Mapping емоцій на FACS AU. Реалізація smooth transitions.
Тижні 8–11: Інтеграція з існуючим аватаром та TTS. Тестування natural-feeling transitions.
Тижні 12–14: User study з реальними користувачами. Калібровка інтенсивностей, виключення uncanny valley ефектів.
Evaluation
| Метрика | Значення |
|---|---|
| Emotion Detection Accuracy (4 класи) | ~82% |
| Сприйнята природність (5-балльна шкала) | >3.8/5 |
| User Engagement (vs. non-emotional avatar) | +28–35% |
| Uncanny Valley Incidents | <5% взаємодій |
Edge Cases
Сарказм, культурні різниці у виразі емоцій, змішані емоції — все це зменшує точність. Для професійних застосувань (психотерапія, HR) рекомендуємо human-in-the-loop: система позначає невизначені емоційні стани для уваги оператора.