AI-анімація фото: де ламається пластика обличчя
Будь-яка AI-анімація фото починається з одного статичного кадру, за яким система добудовує об'єм обличчя та траєкторію голови. Один знімок не містить даних про глибину, тому модель припускає її за тінями, відблисками та геометрією черепа.
Чим менше вихідної інформації, тим більше припущень — і тим помітніші артефакти генерації на виході.
Перший і найчастіший збій — пластика обличчя на швидких поворотах. Коли голова йде в профіль, опорні точки на щоці та підборідді втрачають прив'язку: шкіра починає тягнутися за кісткою, а тіні від носа та вилиць відстають від освітлення. Пластика «пливе» — риси зміщуються відносно черепа, і глядач зчитує не рух, а деформацію.
Другий клас — розсинхрон очей. Зіниці, повіки та відблиски на рогівці вважаються різними шарами, і під час моргання або переведення погляду шари роз'їжджаються.
Портрет зберігає усмішку, але погляд іде вбік, а це ламає контакт із глядачем сильніше, ніж будь-яка геометрична помилка.
Третій — межа обличчя та фону. Згладжування розмиває край, і на волоссі, вухах, комірі з'являється ореол і кольоровий шум, якого не було у вихіднику.
Окрема проблема — різна якість кадрів: якщо в наборі змішано знімки з відмінним розширенням, зерном і балансом білого, оживлення портрета не збирається в єдиний ряд, а рух «смикається» за різкістю між кадрами.
Усі три збої ростуть з одного місця — відсутності покадрового контролю над пластикою обличчя. Далі розбираємо, як це закривається.
Що дає керована анімація: міміка, погляд, пластика
Анімація статичного портрета ламається не на великих рухах, а на дрібних: міміка на русі «пливе», погляд і мікрорухи тремтять, на поворотах голови з'являються змази. Причина в тому, що за незалежної генерації кадрів між ними немає спільної траєкторії.
Ми ведемо міміку за параметрами лицьових орієнтирів і переносимо її в єдиний латентний простір кадру — підхід, відпрацьований у відкритих методах на кшталт LivePortrait, — і дообучаємо під конкретне обличчя.
Це дає темпоральну узгодженість: рух інтерполюється між опорними кадрами, а не вигадується заново в кожному. Звідси стійкість до змазів і передбачувана пластика на поворотах.
Погляд і мікрорухи — зіниця, повіка, кутик рота — йдуть окремою доріжкою з обмеженням амплітуди, тому клас відмов, де око «їде» або усмішка розсипається, зникає.
Друга половина роботи — ручне доопрацювання кадрів. Навіть за хорошої моделі частина ряду потребує правок, і тут критична однорідність: якщо половину кадрів підтягнули вручну, а половину ні, ряд «дихає», і стики видно оком.
Ми тримаємо єдиний профіль обробки на всю послідовність і торкаємося лише тих кадрів, де розходження із сусідніми виходить за поріг.
На практиці виграш не у швидкості генерації, а в циклі приймання: частка кадрів, прийнятих з першого проходу, піднімається приблизно з половини до 85–90%, а доопрацювання зводиться до точкових правок на стиках рухів.
Однорідність ряду контролюється автоматично — за розкидом параметрів міміки та оптичним потоком між сусідніми кадрами.
Порівняння режимів: портрет, торс, група
Режими генерації розрізняються не набором ефектів, а тим, скільки деталізації дістається кожному обличчю. Портретна генерація віддає всю щільність кадру одному обличчю — міміка виходить читабельною.
У груповому кадрі та сама деталізація ділиться між учасниками, тому режим обирають за масштабом: яку частку кадру займає обличчя, скільки людей у сцені, наскільки узгоджені їхні рухи.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Портретна генерація | Великий план, одне обличчя, головне — міміка та погляд | Корпус і руки поза кадром доводиться домислювати, фон майже статичний |
| Поясний режим (торс) | Потрібні нахил голови, жест, рух плечей | Міміка дрібніша, ніж у портреті — потрібне рівне світло й чистий вихідник |
| Груповий кадр | 2–6 осіб, загальний план, сцена-діалог | Обличчя займає малу частку кадру, міміка спрощується; вищий ризик неузгодженості рухів |
| Гібридний конвеєр | Змішані сцени: великі й дрібні обличчя в одному кадрі | Довше за часом обробки, потрібна розмітка зон і контроль стиків |
Межі режимів видно ще на підготовці, а не в готовому ролику: якщо обличчя займає малу частку кадру, міміка розпадається на артефакти.
Тому змішані сцени збираємо гібридним конвеєром — великі обличчя ведемо портретною генерацією, дрібні віддаємо груповому режиму, а рух камери задаємо спільним шаром, щоб стики не читалися.
Перед запуском фіксуємо мінімальний розмір обличчя та кількість учасників: за межами цих значень змінюємо режим, а не намагаємося витягнути результат налаштуваннями.
Порядок впровадження: від розбору матеріалів до передачі
Порядок робіт не залежить від обсягу: одиночний портрет і потік у кілька сотень кадрів проходять один маршрут. Починаємо з матеріалів — від якості вихідників залежить, яка міміка та пластика відтворювані без слідів, — і закінчуємо передачею конвеєра вашій команді.
- Аудит матеріалів. Дивимося різкість, ракурс, перекриття обличчя, артефакти стиснення, однорідність фону. Фіксуємо, які кадри анімуються достовірно, а де потрібна ретуш або заміна знімка.
- Схема конвеєра. Узгоджуємо, як кадри потрапляють в обробку, як іменуються і в якому вигляді виходять. Тут же видно вузькі місця: ручне сортування, різні формати від замовника, відсутність контролю версій.
- Налаштування параметрів. Підбираємо амплітуду міміки, характер руху голови, ступінь збереження рис обличчя. Значення йдуть у конфігурацію — результат відтворюваний, а не залежить від того, хто запустив прогін.
- Приймання на контрольній партії. Прогоняємо 15–20 характерних кадрів, включно зі складними: окуляри, профіль, жорсткі тіні. Дивимося, де «пливуть» риси, і правимо налаштування до виходу на потік.
- Пакетна обробка з контролем. Прогін іде партіями з автоматичною перевіркою артефактів: збійні кадри не тонуть у загальному виводі, а повертаються в чергу на повтор.
- Передача проєкту. Віддаємо схему конвеєра, конфігурації, регламент запуску та розбір типових помилок, проводимо навчання вашої команди.
- Супровід. Перший цикл експлуатації стежимо за часткою кадрів, що пройшли приймання без ручної правки, і за часом прогону партії.
Склад передачі: моделі, маски, шаблони, регламенти
Модель без оточення — це чорна скринька: вона показує результат у нас і перестає відтворюватися, щойно змінюється формат вхідних файлів.
Тому передаємо не лише ваги, а весь контур повторного запуску — від розмітки до регламенту партії, щоб наступний прогін ви виконували самостійно.
- Репозиторій моделей — ваги генератора міміки й генератора руху голови з історією версій та проміжними станами навчання; на кожну модель картка: на яких даних навчалася, що дає на контрольній вибірці.
- Маски обличчя — ключові точки та сегментація зон: очі, рот, брови, контур, плюс маски перекриттів (волосся, окуляри, руки). Вони прямо задають, які області модель має право рухати, а які зобов'язана зберегти.
- Розмітка та вибірки — навчальний і перевірний набори у вихідному форматі, окремо підбірка складних випадків: профіль, слабке світло, частково закрите обличчя.
- Конфігурації запуску — файли параметрів: амплітуда й швидкість руху, частота моргання, сила міміки, фіксоване зерно генератора — результат відтворюється кадр у кадр.
- Інструкції оператора — покрокові сценарії: вимоги до вихідних фото (ракурс, різкість, перекриття), порядок завантаження партії та дії, коли детектор не знайшов обличчя.
- Регламент партії — послідовність прогону, критерії приймання кадрів і правила повторного запуску для фото, що не пройшли контроль якості.
- Скрипти пакетної обробки та журнал прогонів — який файл, з якими параметрами і з яким підсумком оброблено, щоб результат розбирався без нашої участі.
Розбір проєкту: відновлення міміки на архівних кадрах
Замовник — студія документального кіно — приносив оцифровані плівкові кадри: зерно, подряпини, різний контраст, у частині портретів обличчя перекрите й знято в профіль.
Міміку на таких портретах аніматори промальовували вручну покадрово: хвилина матеріалу — кілька днів роботи, а моргання й мікрорухи губ усе одно виглядали одним і тим самим шаблоном. Розбираємо, що змінили і в яких цифрах це видно.
Клас дефектів, який прибрали
Проблема була не у відсутності руху, а в його нестійкості: на зернистих кадрах губився контур рота й підборіддя, і міміка «зривалася» — губи смикалися, зуби проявлялися смугами, між сусідніми кадрами стрибала різкість.
Ми зібрали нейромережевий конвеєр під цей архів: спочатку нормалізація — вирівнювання контрасту та придушення зерна без втрати фактури шкіри, потім побудова міміки за опорними точками, підтвердженими на кількох сусідніх кадрах. Якщо опора не підтверджувалася, кадр ішов оператору, а не в готовий ряд.
Метрики до і після
Частка кадрів, прийнятих без ручного доопрацювання, зросла з 41% до 93% на зіставній вибірці з Архів кінохроніки. Серія в 400 кадрів раніше вимагала 6 годин доопрацювання, тепер — 45 хвилин, і лише на портретах із сильними перекриттями.
Клас дефектів «тремтіння губ і розсинхрон моргання» практично зник: 4 зриви анімації на 1000 кадрів замість 70, і всі чотири — там, де обличчя закрито більш ніж наполовину.
Чим відрізняється відеокерована міміка від покадрового складання?
Різниця між підходами — у джерелі руху. Відеокерування переносить міміку з опорного запису на статичний портрет: модель відстежує лицьові точки в кожному кадрі та перераховує геометрію обличчя на фотографії.
За покадрового складання рух задається вручну — через ключові кадри та мімічний каркас, а проміжні положення добудовує інтерполяція.
Відеокерування виграє на фронтальному портреті, коли є відповідний опорний запис: монолог, дикторська подача, синхронізація губ із мовленням. Жвавість дають реальні мікрорухи — моргання, напруження повік, легкі нахили голови, які майже неможливо виставити руками.
Обмеження проявляються на нестандартному ракурсі: профіль або сильний нахил голови деформують риси, а рука біля обличчя й окуляри збивають відстеження, через що міміка «пливе».
Покадрове складання бере гору на стилізованому й архівному матеріалі, де достовірного опорного відео немає. Амплітуда брів, темп моргання, траєкторія повороту задаються вручну, тому сцена відтворювана, а правки точкові.
Плата — трудомісткість і ризик «пластилінової» пластики: без мікрорухів обличчя читається як маска, а цикл узгоджень розтягується.
Вибір методу йде від матеріалу, а не від смаку. Дивимося, чи є опорний запис під потрібний ракурс, наскільки чистий портрет і чи потрібна точна синхронізація з голосом. Збіглося за всіма пунктами — відеокерування дасть природний результат швидше; ні — починаємо з покадрової бази.
На практиці підходи частіше комбінують: відеокерування збирає основну міміку, а покадрове доопрацювання закриває проблемні ділянки на кшталт профілю або перекриттів.
Технічні сумніви: деталізація, права, обсяг партії
Перед запуском анімації фотографій у замовника зазвичай залишаються чотири інженерні питання: що робити зі слабкими вихідниками, чи можна не випускати матеріал за периметр, кому належать права на результат і чи тримає система партію в десятки тисяч кадрів. Нижче — короткі відповіді на кожне.
Вихідники слабкі — що вийде на виході?
На вході рахуємо різкість, шум і розмір області обличчя: кадри нижче порогу йдуть на відновлення, зовсім убиті відсіюємо одразу й говоримо про це до старту.
Міміка на розмитому вихіднику все одно залишиться умовною — чесніше попередити заздалегідь, ніж віддати партію з артефактами.
Чи можна обробити матеріал усередині закритого контуру?
Так. Моделі та ваги розгортаємо у вашій інфраструктурі, кадри не йдуть у зовнішні сервіси, доступ розмежований за ролями, дії пишуться в журнал. Для персональних даних і закритих проєктів це штатний режим, а не окреме доопрацювання.
Кому належать права на анімовані кадри?
Вхідний матеріал залишається вашим, права на результат передаємо за договором. У роботі використовуємо ваги та бібліотеки з комерційно чистою ліцензією, включно з LivePortrait, — на виході продукт без юридичних хвостів.
Який обсяг партії система витримує?
Обробка розбита на черги й іде паралельно на кількох вузлах, тому час зростає лінійно, а не лавиноподібно. Партія в десятки тисяч кадрів — це нічний прогін, а не місяці очікування.
Обговоримо завдання: зберемо план під ваш матеріал
Розбір вихідників — перший крок, а не формальність: від якості фотографій і від того, які саме рухи ви очікуєте, залежить і вибір підходу, і оцінка термінів.
Щоб обговорити завдання предметно, надішліть матеріал за списком нижче — за ним зберемо план впровадження з етапами та точками приймання.
- 8–15 фотографій у вихідній якості, без стиснення месенджерами й без фільтрів: стиснення та ретуш руйнують опорні точки обличчя, на яких тримається анімація.
- Знімки однієї людини в різних ракурсах — анфас, поворот голови, напівпрофіль: відразу видно, де геометрії обличчя не вистачає і знадобиться добудова.
- Зразок бажаного результату — ролик або набір кадрів, де вас влаштовує характер міміки, темп і амплітуда руху.
- Перелік потрібних рухів: артикуляція, міміка, моргання, поворот і нахил голови, корпус — кожен пункт додає етап роботи та впливає на терміни.
- Контекст показу: реклама, вертикальне відео, інтерактивна вітрина — від цього залежать формат виводу й довжина фрагмента.
- Вимоги до прав на матеріал і до обробки персональних даних, якщо в кадрі реальні люди.
- Де плануєте розміщувати обробку — власний контур або закриті зовнішні сервіси, і хто відповідає за доступи.
Зі свого боку повернемо оцінку термінів за етапами, план впровадження з точками приймання та розбір спірних місць: закриті ділянки обличчя, окуляри, слабка якість вихідника.
За кожною розвилкою запропонуємо варіанти рішення й чесно скажемо, де результат натрапить на обмеження матеріалу. Опишіть завдання — повернемося з оцінкою та планом.
