Как использовать плагин

Это руководство проведет вас через процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.

Примечание: Runtime MetaHuman Lip Sync работает как с MetaHuman, так и с пользовательскими персонажами. Плагин поддерживает различные типы персонажей, включая:

• Популярных коммерческих персонажей (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe и т.д.)
• Персонажей с FACS-based блендшейпами
• Модели, использующие стандарты блендшейпов ARKit
• Персонажей с наборами фонем Preston Blair
• Системы фонем 3ds Max
• Любых персонажей с пользовательскими морф-таргетами для мимики

Подробные инструкции по настройке пользовательских персонажей, включая справочные материалы по маппингу визем для всех перечисленных стандартов, см. в руководстве по настройке пользовательских персонажей.

Требования

Перед началом убедитесь, что:

1. Плагин MetaHuman включен в вашем проекте (Примечание: Начиная с UE 5.6, этот шаг больше не требуется, так как функциональность MetaHuman интегрирована непосредственно в движок)
2. У вас есть хотя бы один персонаж MetaHuman, загруженный и доступный в проекте
3. Установлен плагин Runtime MetaHuman Lip Sync

Дополнительные плагины:

• Если вы планируете использовать захват аудио (например, ввод с микрофона), установите плагин Runtime Audio Importer.
• Если вы планируете использовать функциональность текст-в-речь, установите плагин Runtime Text To Speech.

Конфигурация для конкретных платформ

Конфигурация для Android / Meta Quest

Если вы ориентируетесь на платформы Android или Meta Quest и сталкиваетесь с ошибками сборки при использовании этого плагина, вам необходимо отключить архитектуру x86_64 (x64) для Android в настройках проекта:

1. Перейдите в Edit > Project Settings
2. Перейдите в раздел Platforms > Android
3. В разделе Platforms - Android, секция Build, найдите Support x86_64 [aka x64] и убедитесь, что она отключена, как показано ниже

Это связано с тем, что плагин в настоящее время поддерживает только архитектуры arm64-v8a и armeabi-v7a для платформ Android / Meta Quest.

Процесс настройки

Шаг 1: Найдите и измените Blueprint анимации лица

UE 5.5 и более ранние (или Legacy MetaHumans в UE 5.6+)

Вам необходимо изменить Animation Blueprint, который будет использоваться для анимации лица вашего персонажа MetaHuman. Стандартный Animation Blueprint для лица MetaHuman находится по адресу:

Content/MetaHumans/Common/Face/Face_AnimBP

У вас есть несколько вариантов реализации функции синхронизации губ (Lip Sync):

Редактировать стандартный ассет (самый простой вариант)

Откройте стандартный Face_AnimBP напрямую и внесите изменения. Любые модификации повлияют на всех персонажей MetaHuman, использующих этот Animation Blueprint.

Примечание: Этот подход удобен, но затронет всех персонажей, использующих стандартный Animation Blueprint.

Создать дубликат

1. Дублируйте Face_AnimBP и дайте ему описательное имя
2. Найдите Blueprint-класс вашего персонажа (например, для персонажа "Bryan" он будет расположен по пути Content/MetaHumans/Bryan/BP_Bryan)
3. Откройте Blueprint персонажа и найдите компонент Face
4. Измените свойство Anim Class на ваш новый дублированный Animation Blueprint

Примечание: Этот подход позволяет кастомизировать синхронизацию губ для конкретных персонажей, оставляя других неизменными.

Использовать кастомный Animation Blueprint

Вы можете реализовать смешивание синхронизации губ в любом Animation Blueprint, имеющем доступ к необходимым лицевым костям:

1. Создайте или используйте существующий кастомный Animation Blueprint
2. Убедитесь, что ваш Animation Blueprint работает со скелетом, содержащим те же лицевые кости, что и стандартный Face_Archetype_Skeleton MetaHuman (это стандартный скелет, используемый для любого персонажа MetaHuman)

Примечание: Этот подход дает максимальную гибкость для интеграции с кастомными системами анимации.

Персонажи MetaHuman Creator в UE 5.6+

Начиная с UE 5.6, была представлена новая система MetaHuman Creator, которая создает персонажей без традиционного ассета Face_AnimBP. Для таких персонажей плагин предоставляет Animation Blueprint лица, расположенный по пути:

Content/LipSyncData/LipSync_Face_AnimBP

Использование Face Animation Blueprint плагина:

1. Найдите Blueprint класс вашего персонажа из MetaHuman Creator
2. Откройте Blueprint персонажа и найдите компонент Face
3. Измените свойство Anim Class на LipSync_Face_AnimBP плагина
4. Продолжите с Шагами 2-4 для настройки функциональности Runtime MetaHuman Lip Sync

Альтернативные варианты:

• Использовать устаревшие инструкции: Вы всё ещё можете следовать инструкциям для UE 5.5 выше, если работаете с устаревшими MetaHumans или предпочитаете традиционный workflow
• Создать собственный Animation Blueprint: Создайте свой Animation Blueprint, совместимый со структурой скелета MetaHuman Creator

Примечание: Если вы используете UE 5.6+, но работаете с устаревшими MetaHumans (не созданными через MetaHuman Creator), используйте инструкции из вкладки "UE 5.5 and Earlier".

Важно: Смешивание Runtime MetaHuman Lip Sync может быть реализовано в любом ассете Animation Blueprint, имеющем доступ к позе, содержащей лицевые кости из Face_Archetype_Skeleton стандартного MetaHuman. Вы не ограничены указанными выше вариантами — это лишь распространённые подходы к реализации.

Шаг 2: Настройка Event Graph

Откройте ваш Face Animation Blueprint и переключитесь на Event Graph. Вам потребуется создать генератор, который будет обрабатывать аудиоданные и генерировать анимацию lip sync.

Standard (Faster) Model

1. Добавьте ноду Event Blueprint Begin Play, если она ещё не существует
2. Добавьте ноду Create Runtime Viseme Generator и подключите её к событию Begin Play
3. Сохраните вывод в переменную (например, "VisemeGenerator") для использования в других частях графа

Realistic (Higher Quality) Model

1. Добавьте ноду Event Blueprint Begin Play, если она ещё не существует
2. Добавьте ноду Create Realistic MetaHuman Lip Sync Generator и подключите её к событию Begin Play
3. Сохраните вывод в переменную (например, "RealisticLipSyncGenerator") для использования в других частях графа

Примечание: Realistic Model оптимизирован специально для персонажей MetaHuman и не совместим с пользовательскими типами персонажей.

Пересоздание генератора Realistic Model

Для стабильной и предсказуемой работы с Realistic Model необходимо пересоздавать Realistic MetaHuman Lip Sync Generator каждый раз при подаче новых аудиоданных после периода бездействия. Это связано с поведением ONNX runtime, которое может вызывать прекращение работы lip sync при повторном использовании генераторов после периодов тишины.

Пример сценария: Если вы выполнили lip sync для TTS, затем остановили, и позже хотите выполнить lip sync снова с новым аудио — создайте новый Realistic MetaHuman Lip Sync Generator вместо повторного использования существующего.

Шаг 3: Настройка обработки аудиовхода

Вам необходимо настроить метод обработки аудиовхода. Существует несколько способов в зависимости от источника аудио.

Микрофон (реальное время)

Этот подход выполняет lip sync в реальном времени при разговоре в микрофон:

Standard (Faster) Model

1. Создайте Capturable Sound Wave с помощью Runtime Audio Importer
2. Перед началом захвата аудио привяжитесь к делегату OnPopulateAudioData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Начните захват аудио с микрофона

Копируемые ноды.

Realistic (Higher Quality) Model

Realistic Model использует тот же workflow обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Во всех примерах для Standard Model просто замените:

• VisemeGenerator на вашу переменную RealisticLipSyncGenerator
• Имена функций и параметров остаются идентичными для обеих моделей

Копируемые ноды.

Микрофон (воспроизведение)

Этот подход захватывает аудио с микрофона, затем воспроизводит его с lip sync:

Standard (Faster) Model

1. Создайте Capturable Sound Wave с помощью Runtime Audio Importer
2. Начните захват аудио с микрофона
3. Перед воспроизведением capturable sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Realistic (Higher Quality) Model

Realistic Model использует тот же workflow обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Во всех примерах для Standard Model просто замените:

• VisemeGenerator на вашу переменную RealisticLipSyncGenerator
• Имена функций и параметров остаются идентичными для обеих моделей

Копируемые ноды.

Примечание: Для обработки аудиоданных меньшими порциями для более отзывчивого lip sync, измените расчёт в функции SetNumSamplesPerChunk. Например, деление sample rate на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления lip sync.

Text-to-Speech (локальный)

Обычный

Этот подход синтезирует речь из текста и выполняет lip sync:

Standard (Faster) Model

1. Используйте Runtime Text To Speech для генерации речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением импортированного sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Realistic (Higher Quality) Model

Совместимость с локальным TTS

Локальный TTS, предоставляемый плагином Runtime Text To Speech, в настоящее время не поддерживается с Realistic model из-за конфликтов ONNX runtime. Для text-to-speech с Realistic model рассмотрите использование внешних TTS сервисов (таких как OpenAI или ElevenLabs через Runtime AI Chatbot Integrator) или используйте Standard model.

Примечание: Для обработки аудиоданных меньшими порциями для более отзывчивого lip sync, измените расчёт в функции SetNumSamplesPerChunk. Например, деление sample rate на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления lip sync.

Стриминг

Этот подход использует потоковый синтез речи из текста с lip sync в реальном времени:

Standard (Faster) Model

1. Используйте Runtime Text To Speech для генерации потоковой речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением streaming sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Realistic (Higher Quality) Model

Совместимость с локальным TTS

Локальный TTS, предоставляемый плагином Runtime Text To Speech, в настоящее время не поддерживается с Realistic model из-за конфликтов ONNX runtime. Для text-to-speech с Realistic model рассмотрите использование внешних TTS сервисов (таких как OpenAI или ElevenLabs через Runtime AI Chatbot Integrator) или используйте Standard model.

Примечание: Для обработки аудиоданных меньшими порциями для более отзывчивого lip sync, измените расчёт в функции SetNumSamplesPerChunk. Например, деление sample rate на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления lip sync.

Text-to-Speech (внешние API)

Обычный

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации синтезированной речи из сервисов AI (OpenAI или ElevenLabs) и выполнения lip sync:

Standard (Faster) Model

1. Используйте Runtime AI Chatbot Integrator для генерации речи из текста с использованием внешних API (OpenAI, ElevenLabs и т.д.)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением импортированного sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Realistic (Higher Quality) Model

Realistic Model использует тот же workflow обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Во всех примерах для Standard Model просто замените:

• VisemeGenerator на вашу переменную RealisticLipSyncGenerator
• Имена функций и параметров остаются идентичными для обеих моделей

Копируемые ноды.

Примечание: Для обработки аудиоданных меньшими порциями для более отзывчивого lip sync, измените расчёт в функции SetNumSamplesPerChunk. Например, деление sample rate на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления lip sync.

Стриминг

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации потоковой синтезированной речи из сервисов AI (OpenAI или ElevenLabs) и выполнения lip sync:

Standard (Faster) Model

1. Используйте Runtime AI Chatbot Integrator для подключения к streaming TTS API (например ElevenLabs Streaming API)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением streaming sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Realistic (Higher Quality) Model

Realistic Model использует тот же workflow обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Во всех примерах для Standard Model просто замените:

• VisemeGenerator на вашу переменную RealisticLipSyncGenerator
• Имена функций и параметров остаются идентичными для обеих моделей

Копируемые ноды.

Примечание: Для обработки аудиоданных меньшими порциями для более отзывчивого lip sync, измените расчёт в функции SetNumSamplesPerChunk. Например, деление sample rate на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления lip sync.

Из аудиофайла/буфера

Этот подход использует предзаписанные аудиофайлы или аудиобуферы для lip sync:

Standard (Faster) Model

1. Используйте Runtime Audio Importer для импорта аудиофайла с диска или из памяти
2. Перед воспроизведением импортированного sound wave привяжитесь к его делегату OnGeneratePCMData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Воспроизведите импортированный sound wave и наблюдайте анимацию lip sync

Копируемые ноды.

Realistic (Higher Quality) Model

Realistic Model использует тот же workflow обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Во всех примерах для Standard Model просто замените:

• VisemeGenerator на вашу переменную RealisticLipSyncGenerator
• Имена функций и параметров остаются идентичными для обеих моделей

Копируемые ноды.

Примечание: Для обработки аудиоданных меньшими порциями для более отзывчивого lip sync, измените расчёт в функции SetNumSamplesPerChunk. Например, деление sample rate на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления lip sync.

Пользовательский источник аудио

Для пользовательского источника аудио вам потребуется:

Standard (Faster) Model

1. Аудиоданные в формате float PCM (массив сэмплов с плавающей точкой)
2. Sample rate и количество каналов
3. Вызовите ProcessAudioData из вашего Runtime Viseme Generator с этими параметрами

Пример стриминга аудио из пользовательского источника:

Копируемые ноды.

Realistic (Higher Quality) Model

Realistic Model использует тот же workflow обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Во всех примерах для Standard Model просто замените:

• VisemeGenerator на вашу переменную RealisticLipSyncGenerator
• Имена функций и параметров остаются идентичными для обеих моделей

Копируемые ноды.

Примечание: Для обработки аудиоданных меньшими порциями для более отзывчивого lip sync, измените расчёт в функции SetNumSamplesPerChunk. Например, деление sample rate на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления lip sync.

Шаг 4: Настройка Anim Graph

После настройки Event Graph переключитесь на Anim Graph, чтобы подключить генератор к анимации персонажа:

Lip Sync

Standard (Faster) Model

1. Найдите позу, содержащую лицо MetaHuman (обычно из Use cached pose 'Body Pose')
2. Добавьте ноду Blend Runtime MetaHuman Lip Sync
3. Подключите позу к Source Pose ноды Blend Runtime MetaHuman Lip Sync
4. Подключите вашу переменную RuntimeVisemeGenerator к пину Viseme Generator
5. Подключите вывод ноды Blend Runtime MetaHuman Lip Sync к пину Result ноды Output Pose

При обнаружении lip sync в аудио ваш персонаж будет динамически анимироваться соответствующим образом:

Realistic (Higher Quality) Model

1. Найдите позу, содержащую лицо MetaHuman (обычно из Use cached pose 'Body Pose')
2. Добавьте ноду Blend Realistic MetaHuman Lip Sync
3. Подключите позу к Source Pose ноды Blend Realistic MetaHuman Lip Sync
4. Подключите вашу переменную RealisticLipSyncGenerator к пину Lip Sync Generator
5. Подключите вывод ноды Blend Realistic MetaHuman Lip Sync к пину Result ноды Output Pose

Realistic Model обеспечивает улучшенное визуальное качество с более естественными движениями рта:

Примечание: Realistic Model разработан исключительно для персонажей MetaHuman и не совместим с пользовательскими типами персонажей.

Анимация смеха

Вы также можете добавить анимации смеха, которые будут динамически реагировать на смех, обнаруженный в аудио:

1. Добавьте ноду Blend Runtime MetaHuman Laughter
2. Подключите вашу переменную RuntimeVisemeGenerator к пину Viseme Generator
3. Если вы уже используете lip sync:
   • Подключите вывод из ноды Blend Runtime MetaHuman Lip Sync к Source Pose ноды Blend Runtime MetaHuman Laughter
   • Подключите вывод ноды Blend Runtime MetaHuman Laughter к пину Result ноды Output Pose
4. Если используете только смех без lip sync:
   • Подключите вашу исходную позу напрямую к Source Pose ноды Blend Runtime MetaHuman Laughter
   • Подключите вывод к пину Result

При обнаружении смеха в аудио ваш персонаж будет динамически анимироваться соответствующим образом:

Комбинирование с анимациями тела

Для применения lip sync и смеха вместе с существующими анимациями тела без их перезаписи:

1. Добавьте ноду Layered blend per bone между вашими анимациями тела и финальным выводом. Убедитесь, что Use Attached Parent установлен в true.
2. Настройте слои:
   • Добавьте 1 элемент в массив Layer Setup
   • Добавьте 3 элемента в Branch Filters для слоя, с следующими Bone Name:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Сделайте подключения:
   • Существующие анимации (например, BodyPose) → вход Base Pose
   • Вывод лицевой анимации (из нод lip sync и/или смеха) → вход Blend Poses 0
   • Нода Layered blend → финальная поза Result

Почему это работает: Branch filters изолируют кости лицевой анимации, позволяя lip sync и смеху смешиваться исключительно с движениями лица, сохраняя оригинальные анимации тела. Это соответствует структуре лицевого рига MetaHuman, обеспечивая естественную интеграцию.

Примечание: Функции lip sync и смеха разработаны для работы недеструктивно с вашей существующей настройкой анимации. Они влияют только на конкретные лицевые кости, необходимые для движений рта, оставляя другие лицевые анимации нетронутыми. Это означает, что вы можете безопасно интегрировать их в любой точке вашей анимационной цепочки — либо перед другими лицевыми анимациями (позволяя этим анимациям переопределять lip sync/смех), либо после них (позволяя lip sync/смеху смешиваться поверх ваших существующих анимаций). Эта гибкость позволяет комбинировать lip sync и смех с морганием глаз, движениями бровей, эмоциональными выражениями и другими лицевыми анимациями без конфликтов.

Конфигурация

Конфигурация Lip Sync

Standard (Faster) Model

Нода Blend Runtime MetaHuman Lip Sync имеет параметры конфигурации в панели свойств:

Свойство	По умолчанию	Описание
Interpolation Speed	25	Управляет скоростью переходов между виземами. Более высокие значения приводят к более резким переходам.
Reset Time	0.2	Длительность в секундах, после которой lip sync сбрасывается. Полезно для предотвращения продолжения lip sync после остановки аудио.

Realistic (Higher Quality) Model

Нода Blend Realistic MetaHuman Lip Sync имеет параметры конфигурации в панели свойств:

Свойство	По умолчанию	Описание
Interpolation Speed	30	Управляет скоростью переходов между позициями. Более высокие значения приводят к более резким переходам.
Reset Time	0.2	Длительность в секундах, после которой lip sync сбрасывается. Полезно для предотвращения продолжения lip sync после остановки аудио.

Конфигурация смеха

Нода Blend Runtime MetaHuman Laughter имеет свои параметры конфигурации:

Свойство	По умолчанию	Описание
Interpolation Speed	25	Управляет скоростью переходов между анимациями смеха. Более высокие значения приводят к более резким переходам.
Reset Time	0.2	Длительность в секундах, после которой смех сбрасывается. Полезно для предотвращения продолжения смеха после остановки аудио.
Max Laughter Weight	0.7	Масштабирует максимальную интенсивность анимации смеха (0.0 - 1.0).

Выбор между моделями Lip Sync

При выборе модели lip sync для вашего проекта учитывайте следующие факторы:

Критерий	Standard Model	Realistic Model
Совместимость с персонажами	MetaHumans и все пользовательские типы персонажей	Только MetaHumans
Визуальное качество	Хороший lip sync с эффективной производительностью	Улучшенный реализм с более естественными движениями рта
Производительность	Оптимизирована для всех платформ, включая мобильные/VR	Несколько более высокие требования к ресурсам
Сценарии использования	Общие приложения, игры, VR/AR, мобильные	Кинематографические сцены, близкие взаимодействия с персонажами

Для большинства проектов Standard Model обеспечивает отличный баланс качества и производительности при поддержке самого широкого диапазона типов персонажей. Realistic Model идеален, когда требуется максимальная визуальная точность специально для персонажей MetaHuman в контекстах, где накладные расходы на производительность менее критичны.