Перейти к основному содержимому

Руководство по настройке

Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших MetaHuman персонажей.

Примечание: Runtime MetaHuman Lip Sync работает как с MetaHuman, так и с пользовательскими персонажами. Подробные инструкции по настройке пользовательских персонажей смотрите в Руководстве по настройке пользовательских персонажей.

Предварительные требования​

Перед началом убедитесь, что:

  1. Требования к плагину MetaHuman:

    • UE 5.5 и более ранние: Включите плагин MetaHuman в вашем проекте
    • UE 5.6 и более поздние: Включите плагин MetaHuman Core Tech в вашем проекте
    Дополнительные плагины MetaHuman

    В зависимости от того, как вы создаете своих MetaHuman персонажей, вам могут понадобиться дополнительные плагины. Например, если вы планируете создать MetaHuman с новой системой MetaHuman Creator, представленной в UE 5.6, вам также нужно будет включить плагин MetaHuman Creator. Для получения дополнительной информации об этой системе см. документацию MetaHuman Creator.

  2. У вас есть хотя бы один MetaHuman персонаж, загруженный и доступный в вашем проекте

  3. Установлен плагин Runtime MetaHuman Lip Sync

Плагин расширения стандартной модели​

Если вы планируете использовать Стандартную модель, вам нужно установить плагин расширения:

  1. Скачайте Standard Lip Sync Extension plugin с Google Drive
  2. Извлеките папку из загруженного архива в папку Plugins вашего проекта (создайте эту папку, если она не существует)
  3. Убедитесь, что ваш проект настроен как C++ проект (даже если у вас нет кода на C++)
  4. Пересоберите ваш проект
примечание
  • Это расширение требуется только если вы хотите использовать Стандартную модель. Если вам нужны только Реалистичные модели, вы можете пропустить этот шаг.
  • Для получения дополнительной информации о том, как собирать плагины вручную, см. руководство по сборке плагинов

Дополнительные плагины​

  • Если вы планируете использовать захват аудио (например, ввод с микрофона), установите плагин Runtime Audio Importer.
  • Если вы планируете использовать функциональность преобразования текста в речь:
    • Для локального TTS (Стандартная модель и Реалистичная модель с поддержкой настроения), установите плагин Runtime Text To Speech.
    • Для внешних TTS провайдеров (ElevenLabs, OpenAI, Google Cloud, Azure), установите плагин Runtime AI Chatbot Integrator.

Настройка Animation Blueprint​

Шаг 1: Найдите и измените Blueprint анимации лица​

Вам необходимо изменить Animation Blueprint, который будет использоваться для лицевой анимации вашего персонажа MetaHuman. Стандартный Animation Blueprint лица MetaHuman находится по адресу:

Content/MetaHumans/Common/Face/Face_AnimBP

Блюпринт анимации лица

У вас есть несколько вариантов для реализации функции синхронизации губ:

Откройте стандартный Face_AnimBP напрямую и внесите свои изменения. Любые изменения затронут всех персонажей MetaHuman, использующих этот блюпринт анимации.

Примечание: Этот подход удобен, но повлияет на всех персонажей, использующих стандартный блюпринт анимации.

Шаг 2: Настройка Event Graph​

Откройте ваш Face Animation Blueprint и переключитесь на Event Graph. Вам нужно создать генератор, который будет обрабатывать аудиоданные и генерировать анимацию синхронизации губ.

  1. Добавьте ноду Event Blueprint Begin Play, если она еще не существует
  2. Добавьте ноду Create Runtime Viseme Generator и подключите ее к событию Begin Play
  3. Сохраните вывод в переменную (например, "VisemeGenerator") для использования в других частях графа

Создание Runtime Viseme Generator

Подробные параметры конфигурации смотрите в разделе Конфигурация Standard Model.

Шаг 3: Настройка Anim Graph​

После настройки Event Graph переключитесь на Anim Graph, чтобы подключить генератор к анимации персонажа:

  1. Найдите позу, содержащую лицо MetaHuman (обычно из Use cached pose 'Body Pose')
  2. Добавьте ноду Blend Runtime MetaHuman Lip Sync
  3. Подключите позу к входу Source Pose ноды Blend Runtime MetaHuman Lip Sync
  4. Подключите вашу переменную VisemeGenerator к пину Viseme Generator
  5. Подключите выход ноды Blend Runtime MetaHuman Lip Sync к пину Result ноды Output Pose

Blend Runtime MetaHuman Lip Sync

Следующие шаги​

Теперь, когда базовая настройка Animation Blueprint завершена, вам нужно настроить обработку аудиовхода для подачи аудиоданных в ваш генератор синхронизации губ.

Перейдите к Руководству по обработке аудио, чтобы узнать, как настроить различные методы аудиоввода, включая захват с микрофона, преобразование текста в речь и обработку аудиофайлов. Для расширенных параметров конфигурации и тонкой настройки обратитесь к Руководству по конфигурации.