Чому Digital Human виглядає неприродно та втрачає синхрон
Розсинхрон артикуляції та міміки майже ніколи не буває випадковим. Звук і лицьова анімація збираються різними гілками обробки зі своєю затримкою: синтез видає готову репліку, а анімаційний шар отримує керівні сигнали помітно пізніше.
Розбіжність у частки секунди глядач зчитує як дубляж — він помічає неузгодженість раніше, ніж усвідомлює, що саме не так.
На швидкій мові додаються артефакти. Губні пози не встигають за темпом, рот «залипає» на закритих положеннях, а емоційна міміка гаситься, щоб не суперечити артикуляції. Першою страждає природна міміка: обличчя формально рухається правильно, але перетворюється на маску.
Довга сесія добиває результат — без прив'язки до опорного стану персонаж дрейфує, змінюються риси, погляд перестає тримати контакт, а поведінка поза сценарієм розсипається на ривки між заготовками.
Окрема причина — розрив між шарами. Логіка відповіді, синхронізація артикуляції та міміка живуть у різних місцях і домовляються «на око»: генератор тексту видає фразу, аніматор підганяє її вручну або за таймінгом, емоції ставляться поверх умовним перемикачем. Варто репліці відійти вбік від сценарію — і весь ланцюжок втрачає опору.
Розбираємо, як це закривається: де саме ставляться жорсткі зв'язки між звуком, обличчям і змістом відповіді, і чому Digital Human після цього тримає природну міміку і на швидкій мові, і на багатогодинному діалозі.
Що змінюється після впровадження: ефект у вимірюваних величинах
Ефект від впровадження Digital Human видно не за показовим роликом, а за темпом випуску та обсягом ручної роботи, яка йде з процесу. Величини нижче ми фіксуємо до старту і вимірюємо після запуску — за ними й приймаємо результат.
База у всіх одна: персонаж збирається на професійній платформі реального часу Unreal Engine і спільній бібліотеці заготовок, тому якість не залежить від того, хто саме збирає черговий ролик.
- Новий сценарій — 1–2 дні замість знімального тижня. Репліки збираються з готових блоків міміки та інтонацій, студія й актор у циклі не беруть участі.
- Правка однієї репліки — 15–30 хвилин. Перезбирається лише змінений фрагмент, решта ролика залишається як є, повторний монтаж не потрібен.
- Потік 50–100 роликів на місяць без просідання якості. Зовнішність, голос і манера тримаються від випуску до випуску — глядач не бачить стиків між змінами.
- Зникає клас відмов на довгих репліках. Розсинхрон губ і «залипання» міміки ловляться перевірками під час збирання, а не після публікації.
- Навантаження на команду — один оператор черги. Замість зв'язки «сценарист — студія — монтаж» залишаються автор тексту й інженер супроводу.
Ці п'ять величин і є чек-ліст приймання: їх видно в журналі випусків і в правках по кожній версії, а не в презентації.
Способи створення Digital Human: порівняння підходів
Вибір підходу визначається одним питанням: чи має цифрова людина відповідати співрозмовнику тут і зараз або достатньо заздалегідь підготовленого матеріалу.
Від відповіді залежать вимоги до обчислювальних ресурсів, допустима затримка відгуку й те, як вносяться правки після запуску.
На практиці варіанти не конкурують, а комбінуються — звідси гібридний режим, де інтерактивний діалог будується на заздалегідь знятій пластиці.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Запис із захопленням руху | Попередньо записаний контент: ролики, уроки, презентації, де важлива природна міміка й пластика | Інтерактивного діалогу немає — розгалуження сценарію обмежене, правка означає перезапис |
| Синтез у реальному часі | Інтерактивний діалог: асистент, гід або консультант, який відповідає на запитання | Чутливий до затримки та якості каналу; рухи стриманіші, ніж під час захоплення |
| Гібридний режим | Потрібні і природна пластика, і живий відгук на запитання | Складніше збирання: базові сцени готуються заздалегідь, відповіді синтезуються на місці |
Ми не прив'язуємо проєкт до одного режиму: спочатку рахуємо реальне навантаження й допустиму затримку, потім пропонуємо варіант, який його витримає.
Етапи розробки: від аудиту матеріалів до передачі
Робота йде хвилями: спочатку знімаємо невизначеність щодо матеріалів, потім збираємо каркас персонажа і лише після цього вмикаємо мовлення та міміку.
Порядок принциповий — помилки в схемі обличчя й у голосових даних випливають на живому діалозі, де переробка коштує кратно дорожче, ніж на етапі підготовки. Нижче — маршрут, яким проходить проєкт Digital Human.
- Аудит вихідних матеріалів. Розбираємо відео, аудіо, фото й тексти: ракурси голови, стабільність освітлення, розбірливість артикуляції, чистота звукової доріжки, права на використання. На виході — перелік того, що годиться для навчання, і що потрібно дозняти або перезаписати.
- Схема персонажа. Фіксуємо антропометрію та артикуляційні зони: як пов'язані звуки мовлення з положенням губ, щелепи, брів. Це каркас, на який далі лягають голос і міміка.
- Налаштування голосу та міміки. Підбираємо тембр і темп, перевіряємо вимову імен, термінів і числівників, синхронізуємо мовленнєвий потік із рухами обличчя. Окремо тестуємо нейтральну міміку, щоб персонаж не «поплив» у паузах.
- Тестові сценарії. Прогоняємо діалоги, зокрема незручні: перебивання, довге запитання, емоційна репліка, зміна формулювання на ходу. Фіксуємо, де міміка розходиться з мовленням і де рветься логіка відповіді.
- Калібрування. За протоколами прогонів правимо параметри синтезу та поведінки, повторюємо проблемні сценарії, доки розбіжності не увійдуть у допустимий діапазон.
- Приймання. Звіряємо результат з узгодженими критеріями: впізнаваність, розбірливість, доречність реакцій, час відгуку в діалозі.
- Передача з навчанням. Віддаємо конфігурації, набори сценаріїв та інструкції, показуємо вашій команді, як вносити правки й додавати репліки без нас.
Комплект постачання: моделі, регламенти, документація
Digital Human — це не лише аватар і голос, а комплект артефактів, з яких збирається персонаж і якими замовник керує сам, без звернення до нас через кожну правку репліки.
Ми передаємо все в робочому вигляді: те, що налаштовувалося на запуску, залишається у вашої команди разом із правилами, за якими це можна змінювати безпечно.
- Профіль персонажа — єдине джерело: зовнішній вигляд та його варіанти, голосові налаштування, темп і довжина пауз у мовленні, набір мімічних реакцій і жестів. Із профілю персонаж збирається на всіх каналах, тому правка не перетворюється на перезбирання кожного сценарію заново.
- Бібліотека сценаріїв і гілок діалогу — репліки, реакції на перебивання, поведінка при неповній відповіді співрозмовника. Кожна гілка позначена, до якого етапу розмови вона належить, — видно, що можна змінювати, не зачіпаючи решту.
- Правила поведінки поза сценарієм — що персонаж робить при нерозпізнаному запитанні, при зверненні на заборонену тему, при спробі вивести його з ролі. Окремо описано список ситуацій, де розмова передається живому співробітнику, і як це відбувається.
- Стоп-лист та обмеження за змістом — теми, формулювання й обіцянки, які персонаж не промовляє за жодних умов, включно зі спробами умовити або переформулювати запит.
- Регламент оновлення — хто погоджує зміну профілю або сценарію, які перевірки проходять перед публікацією, як повертається попередня версія, якщо нова поводиться інакше.
- Документація — схема рішення, карта зовнішніх систем, з якими пов'язаний персонаж, опис потоків даних, інструкція з експлуатації та розбір типових збоїв із порядком дій.
- Приймальний набір діалогів — тестові розмови з очікуваною поведінкою персонажа, за якими ваша команда сама перевіряє кожну нову версію перед випуском.
- Навчання команди — практичні сесії з ведення персонажа, розбору історії діалогів і додавання нових сценаріїв, із записом і короткими пам'ятками з кожної теми.
На виході замовник отримує не «чорну скриньку» під нашим супроводом, а керований продукт: персонажа можна розвивати власними силами, а ми підключаємося там, де потрібна переробка логіки.
Кейс: прибрали розсинхрон міміки та прискорили випуск роликів
Aurora Media випускає лінійку навчальних роликів із цифровим ведучим. До нас міміку збирали за фонетичними мітками наосліп: на короткій фразі це проходило, але на довгій сесії в 8–10 хвилин безперервного мовлення артикуляція «з'їжджала» до середини.
Розсинхрон губ і звуку сягав цілого кадру, погляд втрачав фіксацію, і кожен третій ролик ішов на перезапис повністю.
Що змінили
Мовлення нарізали на фонетичні сегменти й прив'язали до них набори візем із перехресною звіркою за аудіодоріжкою, а переходи між віземами згладили, щоб на стиках приголосних не було ривків.
Окремо закріпили позу голови та мікроміміку на довгих відрізках: сцена вважається блоками по 30–60 секунд, а не цілком, тому помилка не накопичується від початку дубля до кінця. Впровадження йшло ітераціями — спочатку закрили короткі сцени, потім довгі сесії.
Метрики до та після
| Що міряли | До | Після |
|---|---|---|
| Частка роликів, що йдуть на перезапис | кожен третій | менше одного з десяти |
| Підходів на один сценарій | три | один |
| Розсинхрон на довгій сесії | наростав до середини | не накопичується |
| Утримання погляду | збивалося після 4–5 хвилин | тримається весь дубль |
Приймання результату формалізували в контрольний список: змикання губ на вибухових, збіг наголосів, утримання погляду, стоп-кадри на спірних стиках.
Замовник перевіряє готовий дубль за ним і за регламентом вирішує, чи потрібен перезапис, — замість оцінки «на слух, подобається чи ні».
Що робити, якщо персонаж уже створений в іншому інструменті?
Перенести Digital Human з іншого інструмента одним файлом майже ніколи не виходить — і це очікувано. Обмінні формати (FBX, glTF) надійно віддають те, що стосується самого персонажа: геометрію, скелет, ваги прив'язки, текстури й набори матеріалів.
Усе, що описує поведінку — освітлення, шари матеріалів, фізика волосся й тканини, налаштування міміки — прив'язане до середовища, і під час експорту або втрачається, або приїжджає в неробочому вигляді.
Тому міграцію персонажа ділимо на два потоки. Модель і скелет імпортуємо та перевіряємо на цілісність: ієрархію кісток, ваги прив'язки, перевернуті нормалі, збіг одиниць вимірювання та осей.
Сцену збираємо заново — світло, ракурси камер, шари матеріалів відновлюються під цільове середовище, бо в перенесенні вони все одно дадуть інший результат.
Звірка якості йде за еталонними кадрами, знятими до міграції.
Фіксуємо набір станів — нейтральна міміка, крайні положення брів і губ, артикуляція на складних звуках, деформація в плечах і шиї — і порівнюємо після перенесення: розбіжності в геометрії обличчя та в поведінці матеріалів на світлі видно одразу.
Ризики переходу передбачувані: обрізана міміка, роз'їхалися ваги, зсунуті пропорції через різні одиниці вимірювання, інша кольоропередача. Частина лікується переналаштуванням, частина — лише перезбиранням лицьового рига.
Якщо втрат занадто багато, чесніше зібрати персонажа заново, зберігши затверджену зовнішність: результат не успадковує старі обмеження.
Технічні сумніви перед стартом проєкту
Перед стартом майже кожна команда замовника ставить один і той самий набір запитань: що робити зі своїми матеріалами, як персонаж поводитиметься на нестандартній репліці, скільки тримає тривала сесія і кому належать права. Нижче — відповіді по суті.
Чи можна побудувати персонажа на наших матеріалах?
Так. Образ збирається з ваших відео, записів голосу та фото — зовнішність, тембр і манера мовлення залишаються впізнаваними. Обмеження одне: якість вихідників.
Потрібні рівне світло, кілька ракурсів і чиста голосова доріжка без музики та луни; якщо записів мало, відсутні ракурси та інтонації добудовуються синтезом.
Що персонаж відповість на нестандартну репліку?
Поведінка описується політикою відповідей: персонаж відповідає за базою знань, уточнює або переводить діалог на оператора. Окремо фіксуємо теми, де імпровізація неприпустима — умови угоди, юридичні формулювання, галузеві рекомендації, — і там персонаж не відповідає від себе.
Скільки триває сесія без перезапуску?
Персонаж тримає безперервний діалог цілу зміну: контекст розмови зберігається, а при обриві зв'язку сесія піднімається автоматично, без втрати нитки бесіди.
Перед здаванням перевіряємо це навантажувальним прогоном — із запасом за тривалістю та за кількістю одночасних співрозмовників.
Кому належать права на образ і контент?
Вихідні матеріали залишаються вашими, права на створений образ, репліки та код передаються замовнику разом із документацією. У договорі фіксуємо і сценарій зміни підрядника: напрацювання залишаються у вас, персонаж продовжує працювати на вашій стороні.
Як проходить перевірка перед запуском?
Збираємо перелік приймальних перевірок: набір нестандартних реплік, поведінка при обриві зв'язку, синхронність мовлення та міміки, тривалий безперервний прогін. Запуск починаємо тільки після того, як закрито кожен пункт.
Обговоримо задачу: що потрібно для старту робіт
Щоб повернутися з оцінкою та схемою персонажа, а не із загальними словами, потрібен мінімальний набір ввідних. Чим конкретніший вхід, тим точніший план робіт і тим менше правок на виробництві — різниця видна вже на першому збиранні.
- Задача й роль персонажа: де працює, з ким говорить, що має вирішувати.
- Аудиторія та мови: скільки мов, чи потрібні регіональні варіанти мовлення.
- Зовнішність: фото, відео, 3D-модель або референси для образу.
- Голос: записаний диктор або синтез, згода на використання.
- Діалоги: 10-20 реальних запитань аудиторії та очікувані відповіді.
- Точки підключення: сайт, месенджер, кіоск, внутрішня система.
- Обмеження: де запускається, хто відповідає за контент, вимоги до приватності даних.
- Критерій успіху: частка вирішених звернень, час відповіді, глибина діалогу.
Далі ми повертаємося з оцінкою та схемою персонажа: показуємо, з яких блоків він складається і що належить зібрати. План робіт розбивається на етапи — образ і голос, пілотний сценарій на 5-10 діалогів, перевірка на реальних запитаннях, замір метрик і розширення покриття тем. Пілот потрібен, щоб побачити Digital Human у живому діалозі до масштабування.
Умови співпраці фіксуємо письмово до старту: склад етапів, що передаємо по завершенні, порядок погодження та права на образ і голос. Оцінку та схему повертаємо протягом кількох робочих днів після отримання ввідних — далі можна стартувати з пілота.
