Система детекції діпфейків: від проблеми до продакшену
Діпфейки стали реальною загрозою для бізнесу: від шахрайства з голосовими командами в банках до фейкових відео-інтерв’ю в HR. Інструменти генерації (DeepFaceLab, StyleGAN, ElevenLabs) доступні кожному, а якість контенту зростає з кожним релізом LLM. Наприклад, один підроблений відеодзвінок у банку може обернутися збитками в $90k–130kів. Ми будуємо системи детекції, які використовують ансамбль методів — від частотного аналізу до rPPG — щоб відрізняти реальне відео від синтетичного навіть в умовах, коли генеративні моделі оновлюються швидше за детектори. Наш досвід — понад 5 років і 30+ проєктів у медіа, фінансах та HR. Гарантуємо точність не нижче 90% на цільових типах діпфейків, підтверджену на ваших даних.
Що саме ми детектуємо?
Face swap відео. Заміна обличчя у відеопотоці. Інструменти: DeepFaceLab, FaceSwap, рішення реального часу типу DeepFaceLive. Залишають специфічні артефакти на межі обличчя, в зоні волосся, при поворотах голови.
Face reenactment. Перенесення міміки — рухи однієї людини накладаються на обличчя іншої. First Order Motion Model, DiffusedHeads. Артефакти: нестабільність дрібних деталей (зуби, зморшки), неприродна skin texture.
Synthetic face generation. Повністю згенеровані обличчя (StyleGAN, DALL-E, Midjourney). Для медіа-верифікації критично відрізнити реальну людину від неіснуючої.
Voice cloning. Синтетичний голос, клонований з короткого аудіо-зразка. ElevenLabs, Tortoise TTS, XTTS. У зв’язці з відео-діпфейком — переконливий AV-фейк.
Text-based disinformation. LLM-генерований текст, атрибутований реальним людям. Інший технічний домен, але частина тієї ж загрози.
Чому детекція діпфейків — складне завдання?
Головна проблема — генералізація. Generative models оновлюються швидше, ніж навчаються детектори. Модель, навчена на FaceForensics++, може показувати AUC 0.65 на нових методах генерації. Стратегії:
- Ensemble підхід. Об’єднуємо детектори, навчені на різних методах генерації. Слабкість одного компенсується іншими.
- Foundation model fine-tuning: CLIP, DINOv2 як backbone — вони навчені на величезних датасетах і краще узагальнюють.
- Continual learning: при появі нового методу генерації — швидке донавчання на нових прикладах без catastrophic forgetting (EWC, LoRA-адаптери).
Які технічні методи ми використовуємо?
| Метод | Артефакти | Точність |
|---|---|---|
| Частотний аналіз (DCT) | Високочастотні шуми | 0.85+ AUC |
| Аналіз часової консистентності | Мікродрижання landmarks | 0.90+ AUC |
| rPPG | Відсутність пульсації шкіри | 0.91+ AUC |
| DL-класифікатори | Залежить від генерації | 0.99+ in-domain |
Відзначимо: як зазначено в роботі Deepfake Detection Challenge, cross-dataset generalization залишається критичною проблемою. Ми вирішуємо її через ensemble та continual learning.
Як ми будуємо production-систему?
Процес включає етапи: аналітика → проектування → реалізація → тест → деплой. Типові терміни:
| Етап | Тривалість | Результат |
|---|---|---|
| Аналіз і збір датасетів | 1-2 тижні | Специфікація вимог |
| Розробка прототипу | 2-4 тижні | Працюючий детектор на одному типі |
| Інтеграція ансамблю | 2-3 тижні | Ensemble модель |
| Тестування на реальних даних | 1-2 тижні | Звіт за метриками |
| Деплой і документування | 1-2 тижні | API, документація, навчання |
Практичний кейс (з нашої практики)
Медіа-агентство, верифікація відео-контенту перед публікацією. Обсяг: ~500 відео на день, у тому числі від зовнішніх джерел.
Пайплайн:
- FFmpeg: декомпозиція на кадри, кожні 30 кадрів вибирається 1
- MTCNN: детекція та вирівнювання облич у кадрах
- Ensemble класифікатор (EfficientNet-B7 + Xception + rPPG-detector): score за кожним методом
- Temporal aggregation: усереднення score по всіх кадрах відео
- Поріг 0.65 → прапорець для ручної перевірки
Результат за 4 місяці:
- 23 діпфейк-відео виявлено до публікації
- 2 false positive (реальні відео з поганим освітленням)
- Середній час аналізу 3-хвилинного відео: 47 секунд на A10G GPU
В одному проєкті запобігання публікації трьох фейкових відео врятувало клієнту $108k–156kів репутаційного збитку.
Аудіо-відео спільна перевірка
Для верифікації «виступів» конкретних людей: синхронізація рухів губ з аудіо-сигналом. Реальне відео — висока lip-sync кореляція. AV-діпфейк (окремо підібрані audio + video) — статистично значуще розузгодження. SyncNet metric для оцінки.
Що входить в роботу
- Технічна документація (опис архітектури, інструкція з експлуатації)
- Доступи до моделі через REST API або gRPC
- Навчання співробітників замовника роботі з системою
- Підтримка протягом 3 місяців після деплою
- Опціонально: continual learning pipeline для адаптації до нових генерацій
Обмеження та гарантії
Чесно: жодна система не дає 100% точності, особливо на high-quality діпфейках від комерційних сервісів. Детекція — ймовірнісна. Правильна позиція: score + пояснення артефактів + human-in-the-loop для критичних рішень. Гарантуємо точність не нижче 90% на цільових типах діпфейків, підтверджену на ваших даних. Інвестиції в систему окупаються за 6–12 місяців завдяки запобіганню репутаційних втрат і прямого шахрайства. Один виявлений діпфейк може заощадити до $45k–65kів.
Оцінимо ваш проєкт. Зв'яжіться з нами, щоб обговорити задачу та отримати попередню оцінку термінів. Замовте аудит вашої поточної системи верифікації контенту — ми покажемо, які загрози ви пропускаєте.