Виртуальные люди с AI: разработка Digital Humans под ключ

Почему Digital Human выглядит неестественно и теряет синхрон

Рассинхрон артикуляции и мимики почти никогда не бывает случайным. Звук и лицевая анимация собираются разными ветками обработки со своей задержкой: синтез отдаёт готовую реплику, а анимационный слой получает управляющие сигналы заметно позже. Расхождение в доли секунды зритель считывает как дубляж — он замечает рассогласование раньше, чем осознаёт, что именно не так.

На быстрой речи добавляются артефакты. Губные позы не успевают за темпом, рот «залипает» на закрытых положениях, а эмоциональная мимика гасится, чтобы не спорить с артикуляцией. Первой страдает естественная мимика: лицо формально двигается верно, но превращается в маску. Длинная сессия добивает результат — без привязки к опорному состоянию персонаж дрейфует, меняются черты, взгляд перестаёт держать контакт, а поведение вне сценария рассыпается на рывки между заготовками.

Отдельная причина — разрыв между слоями. Логика ответа, синхронизация артикуляции и мимика живут в разных местах и договариваются «на глаз»: генератор текста выдаёт фразу, аниматор подгоняет её вручную или по таймингу, эмоции ставятся поверх условным переключателем. Стоит реплике уйти в сторону от сценария — и вся цепочка теряет опору. Разбираем, как это закрывается: где именно ставятся жёсткие связи между звуком, лицом и смыслом ответа, и почему Digital Human после этого держит естественную мимику и на быстрой речи, и на многочасовом диалоге.

Что меняется после внедрения: эффект в измеримых величинах

Эффект от внедрения Digital Human виден не по показательному ролику, а по темпу выпуска и объёму ручной работы, которая уходит из процесса. Величины ниже мы фиксируем до старта и замеряем после запуска — по ним и принимаем результат.

База у всех одна: персонаж собирается на профессиональной платформе реального времени Unreal Engine и общей библиотеке заготовок, поэтому качество не зависит от того, кто именно собирает очередной ролик.

• Новый сценарий — 1–2 дня вместо съёмочной недели. Реплики собираются из готовых блоков мимики и интонаций, студия и актёр в цикле не участвуют.
• Правка одной реплики — 15–30 минут. Пересобирается только изменённый фрагмент, остальной ролик остаётся как есть, повторный монтаж не нужен.
• Поток 50–100 роликов в месяц без просадки качества. Внешность, голос и манера держатся от выпуска к выпуску — зритель не видит стыков между сменами.
• Уходит класс отказов на длинных репликах. Рассинхрон губ и «залипание» мимики ловятся проверками при сборке, а не после публикации.
• Нагрузка на команду — один оператор очереди. Вместо связки «сценарист — студия — монтаж» остаются автор текста и инженер сопровождения.

Эти пять величин и есть чек-лист приёмки: их видно в журнале выпусков и в правках по каждой версии, а не в презентации.

Способы создания Digital Human: сравнение подходов

Выбор подхода определяется одним вопросом: должен ли цифровой человек отвечать собеседнику здесь и сейчас или достаточно заранее подготовленного материала. От ответа зависят требования к вычислительным ресурсам, допустимая задержка отклика и то, как вносятся правки после запуска.

На практике варианты не конкурируют, а комбинируются — отсюда гибридный режим, где интерактивный диалог строится на заранее отснятой пластике.

Мы не привязываем проект к одному режиму: сначала считаем реальную нагрузку и допустимую задержку, потом предлагаем вариант, который её выдержит.

Этапы разработки: от аудита материалов до передачи

Работа идёт волнами: сначала снимаем неопределённость по материалам, затем собираем каркас персонажа и только потом включаем речь и мимику. Порядок принципиален — ошибки в схеме лица и в голосовых данных всплывают на живом диалоге, где переделка стоит кратно дороже, чем на этапе подготовки. Ниже — маршрут, по которому проходит проект Digital Human.

1. Аудит исходных материалов. Разбираем видео, аудио, фото и тексты: ракурсы головы, стабильность освещения, разборчивость артикуляции, чистота звуковой дорожки, права на использование. На выходе — перечень того, что годится в обучение, и что нужно доснять или перезаписать.
2. Схема персонажа. Фиксируем антропометрию и артикуляционные зоны: как связаны звуки речи с положением губ, челюсти, бровей. Это каркас, на который дальше ложатся голос и мимика.
3. Настройка голоса и мимики. Подбираем тембр и темп, проверяем произношение имён, терминов и числительных, синхронизируем речевой поток с движениями лица. Отдельно тестируем нейтральную мимику, чтобы персонаж не «плыл» в паузах.
4. Тестовые сценарии. Прогоняем диалоги, включая неудобные: перебивание, длинный вопрос, эмоциональная реплика, смена формулировки на ходу. Фиксируем, где мимика расходится с речью и где рвётся логика ответа.
5. Калибровка. По протоколам прогонов правим параметры синтеза и поведения, повторяем проблемные сценарии, пока расхождения не уйдут в допустимый диапазон.
6. Приёмка. Сверяем результат с согласованными критериями: узнаваемость, разборчивость, уместность реакций, время отклика в диалоге.
7. Передача с обучением. Отдаём конфигурации, наборы сценариев и инструкции, показываем вашей команде, как вносить правки и добавлять реплики без нас.

Комплект поставки: модели, регламенты, документация

Digital Human — это не только аватар и голос, а комплект артефактов, из которых собирается персонаж и которыми заказчик управляет сам, без обращения к нам из-за каждой правки реплики. Мы передаём всё в рабочем виде: то, что настраивалось на запуске, остаётся у вашей команды вместе с правилами, по которым это можно менять безопасно.

• Профиль персонажа — единый источник: внешний облик и его варианты, голосовые настройки, темп и длина пауз в речи, набор мимических реакций и жестов. Из профиля персонаж собирается на всех каналах, поэтому правка не превращается в пересборку каждого сценария заново.
• Библиотека сценариев и веток диалога — реплики, реакции на перебивание, поведение при неполном ответе собеседника. Каждая ветка помечена, к какому этапу разговора она относится, — видно, что можно менять, не задев остальное.
• Правила поведения вне сценария — что персонаж делает при нераспознанном вопросе, при обращении на запретную тему, при попытке вывести его из роли. Отдельно описан список ситуаций, где разговор передаётся живому сотруднику, и как это происходит.
• Стоп-лист и ограничения по содержанию — темы, формулировки и обещания, которые персонаж не произносит ни при каких условиях, включая попытки уговорить или переформулировать запрос.
• Регламент обновления — кто согласует изменение профиля или сценария, какие проверки проходят перед публикацией, как возвращается предыдущая версия, если новая ведёт себя иначе.
• Документация — схема решения, карта внешних систем, с которыми связан персонаж, описание потоков данных, инструкция по эксплуатации и разбор типовых сбоев с порядком действий.
• Приёмочный набор диалогов — тестовые разговоры с ожидаемым поведением персонажа, по которым ваша команда сама проверяет каждую новую версию перед выпуском.
• Обучение команды — практические сессии по ведению персонажа, разбору истории диалогов и добавлению новых сценариев, с записью и краткими памятками по каждой теме.

На выходе заказчик получает не «чёрный ящик» под нашим сопровождением, а управляемый продукт: персонажа можно развивать своими силами, а мы подключаемся там, где нужна переработка логики.

Кейс: убрали рассинхрон мимики и ускорили выпуск роликов

Aurora Media выпускает линейку обучающих роликов с цифровым ведущим. До нас мимику собирали по фонетическим меткам вслепую: на короткой фразе это проходило, но на длинной сессии в 8–10 минут непрерывной речи артикуляция «уезжала» к середине. Рассинхрон губ и звука доходил до целого кадра, взгляд терял фиксацию, и каждый третий ролик уходил в перезапись целиком.

Что изменили

Речь нарезали на фонетические сегменты и привязали к ним наборы визем с перекрёстной сверкой по аудиодорожке, а переходы между виземами сгладили, чтобы на стыках согласных не было рывков. Отдельно закрепили позу головы и микромимику на длинных отрезках: сцена считается блоками по 30–60 секунд, а не целиком, поэтому ошибка не накапливается от начала дубля к концу. Внедрение шло итерациями — сначала закрыли короткие сцены, потом длинные сессии.

Метрики до и после

Приёмку результата формализовали в контрольный список: смыкание губ на взрывных, совпадение ударений, удержание взгляда, стоп-кадры на спорных стыках. Заказчик проверяет готовый дубль по нему и по регламенту решает, нужна ли перезапись, — вместо оценки «на слух, нравится или нет».

Что делать, если персонаж уже создан в другом инструменте?

Перенести Digital Human из другого инструмента одним файлом почти никогда не получается — и это ожидаемо. Обменные форматы (FBX, glTF) надёжно отдают то, что относится к самому персонажу: геометрию, скелет, веса привязки, текстуры и наборы материалов. Всё, что описывает поведение — освещение, слои материалов, физика волос и ткани, настройки мимики — привязано к окружению, и при экспорте либо теряется, либо приезжает в нерабочем виде.

Поэтому миграцию персонажа делим на два потока. Модель и скелет импортируем и проверяем на целостность: иерархию костей, веса привязки, перевёрнутые нормали, совпадение единиц измерения и осей. Сцену собираем заново — свет, ракурсы камер, слои материалов восстанавливаются под целевую среду, потому что в переносе они всё равно дадут другой результат.

Сверка качества идёт по эталонным кадрам, снятым до миграции. Фиксируем набор состояний — нейтральная мимика, крайние положения бровей и губ, артикуляция на сложных звуках, деформация в плечах и шее — и сравниваем после переноса: расхождения в геометрии лица и в поведении материалов на свету видны сразу.

Риски перехода предсказуемы: обрезанная мимика, разъехавшиеся веса, сдвинутые пропорции из-за разных единиц измерения, другая цветопередача. Часть лечится перенастройкой, часть — только пересборкой лицевого рига. Если потерь слишком много, честнее собрать персонажа заново, сохранив утверждённую внешность: результат не наследует старые ограничения.

Технические сомнения перед стартом проекта

Перед стартом почти каждая команда заказчика задаёт один и тот же набор вопросов: что делать со своими материалами, как персонаж поведёт себя на нестандартной реплике, сколько держит длительная сессия и кому принадлежат права. Ниже — ответы по существу.

Что персонаж ответит на нестандартную реплику?

Поведение описывается политикой ответов: персонаж отвечает по базе знаний, уточняет или переводит диалог на оператора. Отдельно фиксируем темы, где импровизация недопустима — условия сделки, юридические формулировки, отраслевые рекомендации, — и там персонаж не отвечает от себя.

Сколько длится сессия без перезапуска?

Персонаж держит непрерывный диалог целую смену: контекст разговора сохраняется, а при обрыве связи сессия поднимается автоматически, без потери нити беседы. Перед сдачей проверяем это нагрузочным прогоном — с запасом по длительности и по числу одновременных собеседников.

Кому принадлежат права на образ и контент?

Исходные материалы остаются вашими, права на созданный образ, реплики и код передаются заказчику вместе с документацией. В договоре фиксируем и сценарий смены подрядчика: наработки остаются у вас, персонаж продолжает работать на вашей стороне.