Facial Emotion Recognition: розробка системи визначення емоцій

Зауважимо: коли EdTech-стартап просить оцінити залученість студентів через веб-камеру, а ритейлер хоче аналізувати задоволеність клієнтів у кол-центрі — ми пропонуємо не прототип, а production-ready систему facial emotion recognition під ключ. Згідно з визначенням, розпізнавання виразів обличчя — це технологія, яка дозволяє ідентифікувати емоції людини за зображенням обличчя. Наш досвід: 5+ років у Computer Vision, 30+ проєктів з детекцією облич, сертифікати NVIDIA NGC Partner. Впровадження такої системи знижує витрати на ручний аналіз до 70% і дозволяє виявити приховані паттерни поведінки.

Як працює система facial emotion recognition

Система включає два етапи: детекція обличчя та класифікація емоцій. Ми використовуємо InsightFace для детекції (32 мс на T4) та EfficientNet-B0 з ONNX Runtime для класифікації (4 мс). Temporal smoothing ковзним вікном 30 кадрів стабілізує висновок.

Проблеми, які вирішуємо — facial emotion recognition

Низька точність на реальних даних

Публічні моделі (EfficientNet-B0 на FER) дають 73.1% — це межа через суб'єктивність розмітки. Люди не погоджуються в 30–40% випадків. Ми донавчаємо модель на вашому датасеті: збираємо 10–50 тисяч кадрів, розмічаємо в 3 етапи (два розмітники + арбітр). Результат: 84–88% accuracy на цільовій вибірці.

Затримки в реальному часі

Детекція обличчя + класифікація мають укладатися в 100 мс і менше. Ми використовуємо InsightFace для детекції (32 мс на T4) і EfficientNet-B0 з ONNX Runtime (4 мс). Temporal smoothing ковзним вікном 30 кадрів стабілізує висновок.

Чому точність публічних моделей недостатня?

Датасети на кшталт FER збиралися в uncontrolled умовах, але мітки суб'єктивні. AffectNet містить 1M фото, але 40% розмітки визнані шумними. Щоб подолати цей бар'єр, ми додаємо аугментацію (повороти, освітлення, occlusion) та ансамбль моделей. Важливо розуміти: accuracy 75% — це стеля для набору FER, тому що навіть люди погоджуються лише в 60–70% випадків. Для продакшену потрібне донавчання під домен.

Як ми підвищуємо точність до 85%+?

Використовуємо Vision Transformer (ViT-B/16) з fine-tuning на вашому датасеті. Порівняння: EfficientNet-B0 — 73.1%, ViT-B/16 — 74.8% на FER, але на доменних даних розрив сягає 5–7%. Додатково застосовуємо label smoothing та Focal Loss для роботи з незбалансованими класами. EfficientNet-B0 з Focal Loss кращий за vanilla ResNet-18 на 3.1% — розрив на корпоративних даних досягає 5–8%.

Архітектура моделі

Пайплайн: детекція обличчя → вирівнювання → класифікація емоцій.

import torch import torch.nn as nn import timm import cv2 import numpy as np from insightface.app import FaceAnalysis class EmotionRecognizer: def __init__(self, model_path: str): # Детекция и выравнивание лица self.detector = FaceAnalysis(allowed_modules=['detection']) self.detector.prepare(ctx_id=0, det_size=(640, 640)) # Классификатор эмоций backbone = timm.create_model('efficientnet_b0', pretrained=False) backbone.classifier = nn.Sequential( nn.Dropout(0.3), nn.Linear(backbone.num_features, 7) ) backbone.load_state_dict(torch.load(model_path)) backbone.eval() self.model = backbone self.emotions = ['angry', 'disgust', 'fear', 'happy', 'neutral', 'sad', 'surprise'] self.transform = get_inference_transform() @torch.no_grad() def predict(self, image: np.ndarray) -> list[dict]: faces = self.detector.get(image) results = [] for face in faces: x1, y1, x2, y2 = face.bbox.astype(int) face_crop = image[y1:y2, x1:x2] face_crop = cv2.resize(face_crop, (48, 48)) tensor = self.transform(face_crop).unsqueeze(0) logits = self.model(tensor) probs = torch.softmax(logits, dim=1).squeeze() emotion_scores = { self.emotions[i]: float(probs[i]) for i in range(7) } dominant = max(emotion_scores, key=emotion_scores.get) results.append({ 'bbox': [x1, y1, x2, y2], 'emotion': dominant, 'confidence': emotion_scores[dominant], 'all_scores': emotion_scores }) return results 

Датасети та якість моделей

Точність на FER:

• EfficientNet-B0 fine-tuned: 73.1%
• Vision Transformer (ViT-B/16): 74.8%
• EfficientFace: 73.3%

Головна складність: мітки в публічних датасетах суб'єктивні, люди не погоджуються в 30–40% випадків. Accuracy 75% — це межа для набору FER через людську незгоду. Тому якісна розмітка під задачу критична.

Часова аналітика на відео

Покадрова класифікація нестабільна — емоція «блимає» між кадрами. Рішення:

• Temporal smoothing: ковзне середнє по 10–30 кадрах.
• RNN/LSTM поверх frame-level класифікатора: враховує часову динаміку.
• Aggregation по інтервалу: середня емоція за N-секундний інтервал для аналітики.

from collections import deque class TemporalEmotionTracker: def __init__(self, window_size: int = 30): self.window = deque(maxlen=window_size) def update(self, emotion_scores: dict) -> dict: self.window.append(emotion_scores) # Усредняем по окну averaged = {} for emotion in emotion_scores: averaged[emotion] = sum( frame[emotion] for frame in self.window ) / len(self.window) return averaged 

Обмеження та етичні аспекти

Важливо розуміти обмеження технології:

• Культурні відмінності у вираженні емоцій (міміка варіюється між культурами).
• Нейтральне обличчя ≠ нейтральний стан людини.
• Акторська міміка відрізняється від щирої.

Технологія не повинна використовуватися для прихованого моніторингу співробітників без їхнього відома. У production завжди потрібна юридична згода.

Процес роботи

1. Аналітика вимог і збір датасету.
2. Проєктування архітектури: вибір backbone, детектора, постобробки.
3. Реалізація: навчання моделі, пайплайн інференсу.
4. Тестування на ваших даних (A/B тест).
5. Деплой: Docker-контейнер з Triton Inference Server або ONNX Runtime.

Що входить в результат

• Документація пайплайну (Model Card, опис архітектури).
• Навчання вашої команди роботі з моделлю.
• Підтримка 3 місяці після впровадження.
• Код з тестами та відтворюваним навчанням.

Порівняння: наш підхід vs класичний ResNet

Ми використовуємо EfficientNet-B0 з Focal Loss. Приріст точності на FER — 3.1% проти Vanilla ResNet-18 (70.0%). На корпоративних даних розрив досягає 5–8%. Затримка інференсу на CPU — 12 мс, на GPU — 3 мс.

Гарантуємо: модель здається з метриками не нижче обговорених, код покритий тестами, пайплайн відтворюваний. Зв'яжіться з нами, щоб обговорити впровадження розпізнавання емоцій у ваш продукт. Отримайте консультацію з архітектури та оцінки термінів.