Локальний аналіз міміки для відеодзвінків: iOS та Android

Чому on-device аналіз — єдине вірне рішення для відеодзвінків?

Під час відеодзвінка ви хочете оцінити реакцію співрозмовника, але відправка відео в хмару порушує приватність і збільшує затримку. On-device аналіз вирішує обидві проблеми: вся обробка на пристрої, затримка менше 10 мс. При цьому ви зберігаєте контроль над даними, не порушуючи App Store Review Guidelines та GDPR. Академічні дослідження FACS (Facial Action Coding System) показують: міміка не однозначно відображає емоції. Тому ми уникаємо ярликів «злий» або «щасливий», використовуємо нейтральні метрики — рівень залученості, активність міміки. Система не повинна впливати на кадрові або юридичні рішення. Наше рішення забезпечує точне розпізнавання виразів обличчя в реальному часі, використовуючи on-device emotion AI detection. Сучасні рішення mobile emotion recognition працюють локально, що особливо важливо для додатків з високими вимогами до конфіденційності.

Чому ми не використовуємо категоризацію емоцій?

Категоризація емоцій (щастя, сум) — спрощення, що веде до помилок. Action Units за FACS фіксують конкретні рухи м'язів, що дає об'єктивні дані. Наприклад, посмішка може бути ввічливою або щирою — ми не робимо припущень, а передаємо числові метрики. Користувач бачить лише агреговані показники залученості, а не емоційні ярлики. У реальних проектах ми використовуємо комбінацію Action Units та машинного навчання для підвищення точності розпізнавання.

Як ми реалізуємо аналіз на iOS та Android

Стек технологій

• Детекція обличчя: MediaPipe Face Detection (iOS/Android), Apple Vision (iOS)
• Розпізнавання виразів: Apple Vision VNDetectFaceExpressionsRequest, FER+ (CoreML/TFLite)
• Інтеграція у дзвінок: WebRTC data channel або Agora Video SDK

Порівняння підходів

Для відеодзвінків on-device рішення краще за затримкою та приватністю. On-device рішення в 10 разів швидше хмарного за затримкою передачі. Apple Vision обробляє кадри в 20-50 разів швидше, ніж хмарні API, при однаковій точності. Відсутність хмарних витрат — додатковий плюс.

Як ми це робимо на iOS

// iOS: аналіз виразів обличчя через Vision class FaceExpressionAnalyzer { func analyze(sampleBuffer: CMSampleBuffer) async throws -> ExpressionResult? { guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return nil } let faceRequest = VNDetectFaceLandmarksRequest() let expressionRequest = VNDetectFaceExpressionsRequest() let handler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer) try handler.perform([faceRequest, expressionRequest]) guard let faceObs = faceRequest.results?.first as? VNFaceObservation, let exprObs = expressionRequest.results?.first as? VNFaceExpressionObservation else { return nil } return ExpressionResult( faceBox: faceObs.boundingBox, browLower: exprObs.browLowerQuirk, browRaise: exprObs.browRaiseRight + exprObs.browRaiseLeft, eyesClosed: exprObs.eyeBlinkLeft + exprObs.eyeBlinkRight, mouthSmile: exprObs.mouthSmileLeft + exprObs.mouthSmileRight, mouthFrown: exprObs.mouthFrownLeft + exprObs.mouthFrownRight, mouthOpen: exprObs.mouthOpen, jawOpen: exprObs.jawOpen ) } } 

VNDetectFaceExpressionsRequest повертає Action Units — базові рухи м'язів за FACS. Це коректніше, ніж інтерпретувати посмішку як щастя. SwiftUI аналіз емоцій інтегрується через кастомний SwiftUI View для відображення індикатора.

Агрегація за часом

Один кадр — шум. Використовуємо ковзне вікно з 15 кадрів (~0.5 сек):

class ExpressionAggregator { private var history: [ExpressionResult] = [] private let windowSize = 15 func update(_ result: ExpressionResult) -> AggregatedExpression { history.append(result) if history.count > windowSize { history.removeFirst() } return AggregatedExpression( averageSmile: history.map { $0.mouthSmile }.average(), averageBrowRaise: history.map { $0.browRaise }.average(), averageJawOpen: history.map { $0.jawOpen }.average(), smileTrend: computeTrend(history.map { $0.mouthSmile }) ) } } 

Як інтегрувати аналіз в існуючий відеодзвінок?

SDK з кастомним процесором — Agora Video SDK дозволяє перехоплювати кадри до відправки:

class EmotionVideoProcessor: AgoraVideoFrameDelegate { func onCapture(_ videoFrame: AgoraOutputVideoFrame, sourceType: AgoraVideoSourceType) -> Bool { if let pixelBuffer = videoFrame.pixelBuffer { Task { let result = try? await expressionAnalyzer.analyze(buffer: pixelBuffer) await MainActor.run { emotionDelegate?.didUpdateExpression(result) } } } return true } } 

Peer-to-peer через data channel — обидва учасники аналізують себе та передають результати (не відео):

struct EmotionDataPacket: Codable { let timestamp: Double let smile: Float let browRaise: Float let eyesClosed: Float } func sendEmotionData(_ expression: AggregatedExpression) { let packet = EmotionDataPacket( timestamp: Date().timeIntervalSince1970, smile: expression.averageSmile, browRaise: expression.averageBrowRaise, eyesClosed: expression.averageJawOpen ) let data = try! JSONEncoder().encode(packet) dataChannel.sendData(RTCDataBuffer(data: data, isBinary: false)) } 

Приватно та чисто: кожен бачить лише свої дані та агрегат співрозмовника. Для аналізу емоцій відеодзвінків ми використовуємо on-device emotion detection, що виключає передачу відео за межі пристрою.

UX та часті помилки

Показуємо залученість, а не емоції

Правильні індикатори — не емоції, а залученість:

@Composable fun EngagementIndicator(score: Float) { Box( modifier = Modifier .size(12.dp) .clip(CircleShape) .background( when { score > 0.7f -> Color(0xFF4CAF50) score > 0.4f -> Color(0xFFFFC107) else -> Color(0xFF9E9E9E) } ) ) } 

Жодних словесних ярликів — лише нейтральний кольоровий індикатор.

Чого варто уникати

• Використання хмарних API без згоди користувача — блокування в App Store.
• Наївна інтерпретація однієї емоції — веде до недовіри користувачів.
• Відсутність агрегації за часом — шумні дані.

Процес впровадження та терміни

Процес впровадження складається з наступних кроків:

1. Аудит поточного стеку відеодзвінка та вимог до приватності (1-2 дні).
2. Створення прототипу on-device аналізу з MediaPipe / Vision (3-5 днів).
3. Інтеграція data channel для P2P обміну або інтеграція SDK (2-4 дні).
4. Розробка UX: індикатор залученості та екран згоди (2-3 дні).
5. Тестування на реальних пристроях (2-3 дні).
6. Документація та передача (1-2 дні).

Етапи роботи

Орієнтовні терміни

Базова версія: від 1 до 2 тижнів. Повна система (iOS + Android + data channel): від 2 до 4 тижнів. Вартість базової інтеграції становить від $3000, при цьому економія на хмарних викликах може досягати $1500 на місяць для 10 000 дзвінків. Наша команда має 10+ років досвіду в мобільній розробці та реалізувала понад 50 проектів з аналізу відео. Працюємо на ринку з 2017 року. Ми гарантуємо якість роботи та надаємо сертифікати відповідності. Оцініть економію на хмарних витратах: при 10 000 щомісячних дзвінків виклики Azure Face API обійдуться в $500–1500, тоді як on-device рішення виключає ці витрати.

Що входить в роботу

• Готовий модуль аналізу емоцій (iOS/Android) з вихідним кодом.
• Документація по інтеграції та налаштуванню.
• Приклад використання з індикатором залученості.
• Консультація з проходження модерації App Store / Google Play.
• Підтримка протягом 30 днів після передачі.

Висновок

On-device аналіз міміки — етичне та технічно ефективне рішення для відеодзвінків. Одноразова економія на хмарних витратах може становити суттєву суму. Замовте консультацію з інтеграції у ваш існуючий відеодзвінок. Використовуйте on-device emotion detection для дотримання приватності та зниження затримок.