Руководство по настройке

Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.

Примечание: Runtime MetaHuman Lip Sync работает как с MetaHuman, так и с пользовательскими персонажами. Подробные инструкции по настройке пользовательских персонажей см. в Руководстве по настройке пользовательских персонажей.

Предварительные требования

Прежде чем начать, убедитесь:

1. Требования к плагину MetaHuman:

   • UE 5.5 и более ранние версии: Включите плагин MetaHuman в вашем проекте
   • UE 5.6 и более поздние версии: Включите плагин MetaHuman Core Tech в вашем проекте
   Дополнительные плагины MetaHuman

В зависимости от того, как вы создаете персонажей MetaHuman, вам могут понадобиться дополнительные плагины. Например, если вы планируете создать MetaHuman с помощью новой системы MetaHuman Creator, представленной в UE 5.6, вам также потребуется включить плагин MetaHuman Creator. Дополнительную информацию об этой системе см. в документации MetaHuman Creator. :::

2. У вас есть хотя бы один персонаж MetaHuman, загруженный и доступный в вашем проекте
3. Плагин Runtime MetaHuman Lip Sync установлен

Плагин расширения стандартной модели

Если вы планируете использовать Standard Model, вам потребуется установить плагин расширения:

1. Скачайте плагин Standard Lip Sync Extension отсюда
2. Извлеките папку из загруженного архива в папку Plugins вашего проекта (создайте эту папку, если её нет)
3. Убедитесь, что ваш проект настроен как C++ проект (даже если у вас нет кода на C++)
4. Пересоберите ваш проект

примечание

• Это расширение требуется только в том случае, если вы хотите использовать Стандартную модель. Если вам нужны только Реалистичные модели, этот шаг можно пропустить.
• Для получения дополнительной информации о том, как вручную собирать плагины, см. Руководство по сборке плагинов

Дополнительные плагины

• Если вы планируете использовать захват аудио (например, с микрофона), установите плагин Runtime Audio Importer.
• Если вы планируете использовать функцию преобразования текста в речь:
  • Для локального TTS (стандартная модель и реалистичная модель с поддержкой настроения) установите плагин Runtime Text To Speech.
  • Для внешних TTS-провайдеров (ElevenLabs, OpenAI, Google Cloud, Azure) установите плагин Runtime AI Chatbot Integrator.

Настройка Animation Blueprint

Шаг 1: Найдите и измените анимационный Блюпринт лица

UE 5.5 и более ранние версии (или устаревшие MetaHumans в UE 5.6+)

Вам нужно изменить Animation Blueprint, который будет использоваться для анимации лица вашего персонажа MetaHuman. Стандартный Animation Blueprint лица MetaHuman находится по адресу:

Content/MetaHumans/Common/Face/Face_AnimBP

У вас есть несколько вариантов реализации функции синхронизации губ:

Редактировать ассет по умолчанию (самый простой вариант)

Откройте стандартный Face_AnimBP напрямую и внесите свои изменения. Любые правки повлияют на всех персонажей MetaHuman, использующих этот Animation Blueprint.

Примечание: Этот подход удобен, но повлияет на всех персонажей, использующих стандартный Animation Blueprint.

Создать дубликат

1. Создайте дубликат Face_AnimBP и дайте ему описательное название
2. Найдите класс Blueprint вашего персонажа (например, для персонажа «Bryan» он будет находиться по пути Content/MetaHumans/Bryan/BP_Bryan)
3. Откройте Blueprint персонажа и найдите компонент Face
4. Измените свойство Anim Class на ваш недавно созданный дубликат Animation Blueprint

Примечание: Этот подход позволяет настроить синхронизацию губ для конкретных персонажей, оставляя остальных без изменений.

Используйте пользовательский Animation Blueprint

Вы можете реализовать смешивание синхронизации губ в любом Animation Blueprint, который имеет доступ к необходимым лицевым костям:

1. Создайте или используйте существующий пользовательский Animation Blueprint
2. Убедитесь, что ваш Animation Blueprint работает со скелетом, содержащим те же лицевые кости, что и Face_Archetype_Skeleton стандартного MetaHuman

Примечание: Этот подход обеспечивает максимальную гибкость для интеграции с пользовательскими анимационными системами.

Персонажи MetaHuman Creator для UE 5.6+

Начиная с UE 5.6, была представлена новая система MetaHuman Creator. Для этих персонажей плагин предоставляет анимационный блюпринт лица, расположенный по адресу:

Content/LipSyncData/LipSync_Face_AnimBP

Важно

Этот Animation Blueprint находится в папке контента плагина и будет перезаписан при каждом обновлении плагина. Чтобы не потерять ваши настройки:

1. Скопируйте этот ассет в папку Content вашего проекта (например, в YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Используйте скопированную версию в настройках вашего персонажа
3. Вносите все изменения в скопированную версию

Использование анимационного блюпринта лица плагина:

1. Найдите класс Blueprint вашего персонажа из MetaHuman Creator
2. Откройте Blueprint персонажа и найдите компонент Face
3. Измените свойство Anim Class на LipSync_Face_AnimBP из плагина
4. Продолжите со следующими шагами для настройки функциональности Runtime MetaHuman Lip Sync

Шаг 2: Настройка графа событий

Откройте свой Face Animation Blueprint и переключитесь на Event Graph. Вам нужно будет создать генератор, который будет обрабатывать аудиоданные и генерировать анимацию синхронизации губ.

Стандартная модель

1. Добавьте узел Event Blueprint Begin Play, если его ещё нет
2. Добавьте узел Create Runtime Viseme Generator и соедините его с событием Begin Play
3. Сохраните выходные данные как переменную (например, "VisemeGenerator") для использования в других частях графа

Подробные параметры конфигурации см. в разделе Конфигурация стандартной модели.

Реалистичная модель

1. Добавьте узел Event Blueprint Begin Play, если его ещё нет
2. Добавьте узел Create Realistic MetaHuman Lip Sync Generator и соедините его с событием Begin Play
3. Сохраните выходные данные как переменную (например, "RealisticMetaHumanLipSyncGenerator") для использования в других частях графа
4. (Необязательно) Настройте параметры генератора с помощью параметра Configuration

Подробные параметры конфигурации, включая типы моделей, настройки производительности и параметры обработки, описаны в разделе Конфигурация реалистичной модели.

Модель с поддержкой настроения и реалистичной анимацией

1. Добавьте узел Event Blueprint Begin Play, если его еще нет
2. Добавьте узел Create Realistic MetaHuman Lip Sync With Mood Generator и соедините его с событием Begin Play
3. Сохраните выходные данные в переменную (например, "MoodMetaHumanLipSyncGenerator") для использования в других частях графа
4. (Необязательно) Настройте параметры генератора с помощью параметра Configuration

Для детальной настройки настроения, включая типы настроения, параметры интенсивности, время упреждения и выбор типа вывода, обратитесь к разделу Конфигурация модели с поддержкой настроения.

Шаг 3: Настройка графа анимаций

После настройки графа событий переключитесь на Anim Graph, чтобы подключить генератор к анимации персонажа:

Стандартная модель

1. Найдите позу, содержащую лицо MetaHuman (обычно из узла Use cached pose 'Body Pose')
2. Добавьте узел Blend Runtime MetaHuman Lip Sync
3. Подключите позу к входу Source Pose узла Blend Runtime MetaHuman Lip Sync
4. Подключите вашу переменную VisemeGenerator к пину Viseme Generator
5. Подключите выход узла Blend Runtime MetaHuman Lip Sync к пину Result узла Output Pose

Реалистичная модель

1. Найдите позу, содержащую лицо MetaHuman (обычно из Use cached pose 'Body Pose')
2. Добавьте узел Blend Realistic MetaHuman Lip Sync
3. Подключите позу к входу Source Pose узла Blend Realistic MetaHuman Lip Sync
4. Подключите вашу переменную RealisticMetaHumanLipSyncGenerator к входу Lip Sync Generator
5. Подключите выход узла Blend Realistic MetaHuman Lip Sync к входу Result узла Output Pose

Модель с поддержкой настроения и реалистичной анимацией

1. Найдите позу, содержащую лицо MetaHuman (обычно из узла Use cached pose 'Body Pose')
2. Добавьте узел Blend Realistic MetaHuman Lip Sync (тот же узел, что и для обычной реалистичной модели)
3. Подключите позу к входу Source Pose узла Blend Realistic MetaHuman Lip Sync
4. Подключите вашу переменную MoodMetaHumanLipSyncGenerator к входу Lip Sync Generator
5. Подключите выход узла Blend Realistic MetaHuman Lip Sync к входу Result узла Output Pose

Примечание: Модель с поддержкой настроения использует тот же узел Animation Blueprint, что и обычная реалистичная модель. Функциональность настроения обрабатывается внутренне генератором.

Следующие шаги

Теперь, когда базовая настройка Animation Blueprint завершена, вам потребуется настроить обработку аудиовхода для передачи аудиоданных в генератор синхронизации губ.

Перейдите к Руководству по обработке аудио, чтобы узнать, как настроить различные методы ввода аудио, включая захват с микрофона, синтез речи и обработку аудиофайлов.

Для расширенных параметров конфигурации и тонкой настройки см. Руководство по конфигурации.