AI-система генерації цифрових дублерів акторів
Цифрові дублери вирішують кілька окремих завдань кінопроізводства: небезпечні сцени без ризику для актора, продовження знімання при недоступності виконавця, де-еджинг, робота з персонажами послідовно пішлих акторів (при наявності правової основи). Це складне мультимодальне завдання, що потребує інтеграції кількох технологій.
Компоненти системи
3D Digital Human Core:
- MetaHuman Creator (Unreal Engine) як базовий риг — industry standard з найвищим рівнем деталізації
- Gaussian Splatting / NeRF для сканування реального актора (фотограмметрія + ML-реконструкція)
- FLAME / SMPL-X параметричні моделі для тіла та обличчя
Motion Transfer:
- DensePose + SMPLify-X для перенесення рухів з reference відео
- Face Reenactment: FOMM (First Order Motion Model), Face-Vid2Vid для роботи з 2D
- Body Pose Transfer: Vid2Vid Synthesis, Neural Body
Appearance Transfer / Face Swap:
- ROOP, SimSwap, FaceSwap для повної заміни обличчя
- DiffFace, IP-Adapter FaceID для високоякісного результату з diffusion
- Preservation системи для родимок, шрамів, ідентифікуючих ознак
Rendering Pipeline:
- Real-time: Unreal Engine 5 MetaHuman + нейромережева super-resolution
- Offline: Nuke/Flame compositing + ML-based color/light matching
- Neural Rendering: NeRF-based для фотореалістичного статичного та невеликого руху
Правові та етичні рамки
Обов'язкова умова роботи: наявність письмової згоди актора та чіткого розуміння сфери застосування. Система включає watermarking для відстеження походження контенту. Ми не беремся за проекти без необхідних прав.
Конвеєр розробки
Тижні 1–4: Capture session з актором: фотограмметричне сканування (300+ фото), відеозапис facial performance (нейтральні вирази, фонеми, емоції), motion capture тіла.
Тижні 5–10: Побудова 3D-моделі, риггинг, навчання face reenactment моделі. Валідація подібності з актором.
Тижні 11–15: Інтеграція в production pipeline. Тестова сцена. Коригування за зворотним зв'язком режисера.
Тижні 16–18: Оптимізація під production темп. Навчання команди VFX.
Технічні характеристики
| Параметр | Значення |
|---|---|
| Подібність з оригіналом (FID) | <50 (висока подібність) |
| Часова консистентність (temporal coherence) | >0.95 |
| Обробка: offline (4K) | 1–5 хв/кадр на A100 |
| Обробка: real-time preview | 24 fps при 1080p (RTX 4090) |
| Підтримка мімики | 52 FACS blend shapes |
Обмеження
«Долина зловістного» — постійний ризик при high-fidelity роботі. Ми проводимо обов'язковий blind review з незнайомими глядачами перед фінальним рендером. Екстремальний реалізм потребує більше ітерацій, ніж стилізація. Рух рук та пальців — досі найскладніша частина.