Руководство по настройке

Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.

Примечание: Runtime MetaHuman Lip Sync работает как с MetaHuman, так и с пользовательскими персонажами. Подробные инструкции по настройке пользовательских персонажей смотрите в Руководстве по настройке пользовательских персонажей.

Предварительные требования

Перед началом убедитесь, что:

1. Плагин MetaHuman включен в вашем проекте (Примечание: Начиная с UE 5.6, этот шаг больше не требуется, так как функциональность MetaHuman интегрирована непосредственно в движок)
2. У вас есть хотя бы один персонаж MetaHuman, загруженный и доступный в вашем проекте
3. Плагин Runtime MetaHuman Lip Sync установлен

Плагин расширения стандартной модели

Если вы планируете использовать Стандартную модель, вам потребуется установить плагин расширения:

1. Скачайте плагин Standard Lip Sync Extension plugin с Google Drive
2. Извлеките папку из загруженного архива в папку Plugins вашего проекта (создайте эту папку, если она не существует)
3. Убедитесь, что ваш проект настроен как C++ проект (даже если у вас нет кода на C++)
4. Пересоберите ваш проект

примечание

• Это расширение требуется только если вы хотите использовать Стандартную модель. Если вам нужны только Реалистичные модели, вы можете пропустить этот шаг.
• Для получения дополнительной информации о том, как собирать плагины вручную, смотрите руководство по сборке плагинов

Дополнительные плагины

• Если вы планируете использовать захват аудио (например, ввод с микрофона), установите плагин Runtime Audio Importer.
• Если вы планируете использовать функциональность преобразования текста в речь:
  • Для локального TTS (только для Стандартной модели), установите плагин Runtime Text To Speech.
  • Для внешних TTS-провайдеров (ElevenLabs, OpenAI), установите плагин Runtime AI Chatbot Integrator.

Настройка Animation Blueprint

Шаг 1: Найдите и измените Blueprint анимации лица

UE 5.5 и более ранние (или Legacy MetaHumans в UE 5.6+)

Вам нужно изменить Animation Blueprint, который будет использоваться для лицевой анимации вашего персонажа MetaHuman. Стандартный Animation Blueprint лица MetaHuman находится по адресу:

Content/MetaHumans/Common/Face/Face_AnimBP

У вас есть несколько вариантов для реализации функции синхронизации губ:

Edit Default Asset (Simplest Option)

Откройте стандартный Face_AnimBP напрямую и внесите свои изменения. Любые изменения затронут всех персонажей MetaHuman, использующих этот Animation Blueprint.

Примечание: Этот подход удобен, но повлияет на всех персонажей, использующих стандартный Animation Blueprint.

Create Duplicate

1. Дублируйте Face_AnimBP и дайте ему описательное имя
2. Найдите класс Blueprint вашего персонажа (например, для персонажа "Bryan", он будет находиться по пути Content/MetaHumans/Bryan/BP_Bryan)
3. Откройте Blueprint персонажа и найдите компонент Face
4. Измените свойство Anim Class на ваш новый дублированный Animation Blueprint

Примечание: Этот подход позволяет вам настроить синхронизацию губ для конкретных персонажей, оставляя других неизмененными.

Use Custom Animation Blueprint

Вы можете реализовать смешивание синхронизации губ в любом Animation Blueprint, который имеет доступ к необходимым лицевым костям:

1. Создайте или используйте существующий пользовательский Animation Blueprint
2. Убедитесь, что ваш Animation Blueprint работает со скелетом, содержащим те же лицевые кости, что и стандартный Face_Archetype_Skeleton MetaHuman

Примечание: Этот подход дает вам максимальную гибкость для интеграции с пользовательскими системами анимации.

UE 5.6+ MetaHuman Creator Characters

Начиная с UE 5.6, была представлена новая система MetaHuman Creator. Для этих персонажей плагин предоставляет face Animation Blueprint, расположенный по адресу:

Content/LipSyncData/LipSync_Face_AnimBP

Важно

Этот Animation Blueprint находится в папке контента плагина и будет перезаписываться при каждом обновлении плагина. Чтобы предотвратить потерю ваших настроек:

1. Скопируйте этот ассет в папку Content вашего проекта (например, в YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Используйте свою скопированную версию в настройках персонажа
3. Вносите все изменения в скопированную версию

Использование Face Animation Blueprint плагина:

1. Найдите Blueprint класс вашего персонажа из MetaHuman Creator
2. Откройте Blueprint персонажа и найдите компонент Face
3. Измените свойство Anim Class на LipSync_Face_AnimBP плагина
4. Продолжите следующими шагами для настройки функциональности Runtime MetaHuman Lip Sync

Шаг 2: Настройка Event Graph

Откройте ваш Face Animation Blueprint и перейдите к Event Graph. Вам нужно создать генератор, который будет обрабатывать аудиоданные и генерировать анимацию lip sync.

Standard Model

1. Добавьте ноду Event Blueprint Begin Play, если она еще не существует
2. Добавьте ноду Create Runtime Viseme Generator и подключите ее к событию Begin Play
3. Сохраните вывод в переменную (например, "VisemeGenerator") для использования в других частях графа

Подробные параметры конфигурации смотрите в разделе Standard Model Configuration.

Realistic Model

1. Добавьте ноду Event Blueprint Begin Play, если она еще не существует
2. Добавьте ноду Create Realistic MetaHuman Lip Sync Generator и подключите ее к событию Begin Play
3. Сохраните вывод в переменную (например, "RealisticMetaHumanLipSyncGenerator") для использования в других частях графа
4. (Опционально) Настройте параметры генератора с помощью параметра Configuration

Подробные параметры конфигурации, включая типы моделей, настройки производительности и параметры обработки, смотрите в разделе Realistic Model Configuration.

Mood-Enabled Realistic Model

1. Добавьте ноду Event Blueprint Begin Play, если она еще не существует
2. Добавьте ноду Create Realistic MetaHuman Lip Sync With Mood Generator и подключите ее к событию Begin Play
3. Сохраните вывод в переменную (например, "MoodMetaHumanLipSyncGenerator") для использования в других частях графа
4. (Опционально) Настройте параметры генератора с помощью параметра Configuration

Подробную настройку настроения, включая типы настроений, настройки интенсивности, время упреждения и выбор типа вывода, см. раздел Конфигурация модели с поддержкой настроений.

Шаг 3: Настройка Anim Graph

После настройки Event Graph переключитесь на Anim Graph, чтобы подключить генератор к анимации персонажа:

Standard Model

1. Найдите позу, содержащую лицо MetaHuman (обычно из Use cached pose 'Body Pose')
2. Добавьте ноду Blend Runtime MetaHuman Lip Sync
3. Подключите позу к пину Source Pose ноды Blend Runtime MetaHuman Lip Sync
4. Подключите вашу переменную VisemeGenerator к пину Viseme Generator
5. Подключите выход ноды Blend Runtime MetaHuman Lip Sync к пину Result ноды Output Pose

Realistic Model

1. Найдите позу, содержащую лицо MetaHuman (обычно из Use cached pose 'Body Pose')
2. Добавьте ноду Blend Realistic MetaHuman Lip Sync
3. Подключите позу к пину Source Pose ноды Blend Realistic MetaHuman Lip Sync
4. Подключите вашу переменную RealisticMetaHumanLipSyncGenerator к пину Lip Sync Generator
5. Подключите выход ноды Blend Realistic MetaHuman Lip Sync к пину Result ноды Output Pose

Mood-Enabled Realistic Model

1. Найдите позу, содержащую лицо MetaHuman (обычно из Use cached pose 'Body Pose')
2. Добавьте ноду Blend Realistic MetaHuman Lip Sync (та же нода, что и для обычной реалистичной модели)
3. Подключите позу к пину Source Pose ноды Blend Realistic MetaHuman Lip Sync
4. Подключите вашу переменную MoodMetaHumanLipSyncGenerator к пину Lip Sync Generator
5. Подключите выход ноды Blend Realistic MetaHuman Lip Sync к пину Result ноды Output Pose

Примечание: Модель с поддержкой настроений использует ту же ноду Animation Blueprint, что и обычная реалистичная модель. Функциональность настроек обрабатывается внутри генератора.

Следующие шаги

Теперь, когда базовая настройка Animation Blueprint завершена, вам нужно настроить обработку аудиовхода для подачи аудиоданных в ваш генератор синхронизации губ.

Перейдите к Руководству по обработке аудио, чтобы узнать, как настроить различные методы аудиоввода, включая захват с микрофона, преобразование текста в речь и обработку аудиофайлов. Для расширенных параметров конфигурации и тонкой настройки см. Руководство по конфигурации.