Как использовать плагин

Это руководство проведёт вас через процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.

Примечание: Runtime MetaHuman Lip Sync работает как с MetaHuman, так и с пользовательскими персонажами. Плагин поддерживает различные типы персонажей, включая:

• Популярных коммерческих персонажей (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe и др.)
• Персонажей с FACS-based блендшейпами
• Модели, использующие стандарты блендшейпов ARKit
• Персонажей с наборами фонем Preston Blair
• Системы фонем 3ds Max
• Любых персонажей с пользовательскими морф-таргетами для мимики

Подробные инструкции по настройке пользовательских персонажей, включая справочники по маппингу визем для всех перечисленных стандартов, см. в руководстве по настройке пользовательских персонажей.

Требования

Перед началом убедитесь, что:

1. Плагин MetaHuman включён в вашем проекте
2. У вас есть хотя бы один персонаж MetaHuman, загруженный и доступный в проекте
3. Установлен плагин Runtime MetaHuman Lip Sync

Дополнительные плагины:

• Если вы планируете использовать захват аудио (например, ввод с микрофона), установите плагин Runtime Audio Importer.
• Если вы планируете использовать функционал текст-в-речь, установите плагин Runtime Text To Speech.

Платформо-специфичная конфигурация

Конфигурация для Android / Meta Quest

Если вы работаете с платформами Android или Meta Quest и сталкиваетесь с ошибками сборки при использовании этого плагина, вам необходимо отключить архитектуру x86_64 (x64) для Android в настройках проекта:

1. Перейдите в Edit > Project Settings
2. Откройте раздел Platforms > Android
3. В секции Platforms - Android, раздел Build, найдите Support x86_64 [aka x64] и убедитесь, что он отключён, как показано ниже

Это связано с тем, что плагин в настоящее время поддерживает только архитектуры arm64-v8a и armeabi-v7a для платформ Android / Meta Quest.

Процесс настройки

Шаг 1: Найдите и измените Blueprint анимации лица

Вам необходимо модифицировать Animation Blueprint, который будет использоваться для мимики вашего персонажа MetaHuman. Стандартный Animation Blueprint для лица MetaHuman находится по пути:

Content/MetaHumans/Common/Face/Face_AnimBP

У вас есть несколько вариантов реализации функции синхронизации губ:

Редактировать стандартный ассет (самый простой вариант)

Откройте стандартный Face_AnimBP напрямую и внесите изменения. Любые модификации повлияют на всех персонажей MetaHuman, использующих этот Animation Blueprint.

Примечание: Этот подход удобен, но затронет всех персонажей, использующих стандартный Animation Blueprint.

Создать дубликат

1. Дублируйте Face_AnimBP и дайте ему описательное имя
2. Найдите Blueprint класса вашего персонажа (например, для персонажа "Bryan" он будет расположен по пути Content/MetaHumans/Bryan/BP_Bryan)
3. Откройте Blueprint персонажа и найдите компонент Face
4. Измените свойство Anim Class на ваш новый дублированный Animation Blueprint

Примечание: Этот подход позволяет кастомизировать синхронизацию губ для конкретных персонажей, оставляя других неизменными.

Использовать кастомный Animation Blueprint

Вы можете реализовать смешивание синхронизации губ в любом Animation Blueprint, имеющем доступ к необходимым лицевым костям:

1. Создайте или используйте существующий кастомный Animation Blueprint
2. Убедитесь, что ваш Animation Blueprint работает со скелетом, содержащим те же лицевые кости, что и стандартный Face_Archetype_Skeleton MetaHuman (который является стандартным скелетом для любого персонажа MetaHuman)

Примечание: Этот подход дает максимальную гибкость для интеграции с кастомными системами анимации.

Важно: Смешивание Runtime MetaHuman Lip Sync может быть реализовано в любом ассете Animation Blueprint, имеющем доступ к позе, содержащей лицевые кости из стандартного Face_Archetype_Skeleton MetaHuman. Вы не ограничены приведенными выше вариантами - это просто распространенные подходы к реализации.

Шаг 2: Настройка Event Graph

Откройте ваш Face Animation Blueprint и переключитесь на Event Graph. Вам нужно создать Runtime Viseme Generator, который будет обрабатывать аудиоданные и генерировать виземы.

1. Добавьте ноду Event Blueprint Begin Play, если она еще не существует
2. Добавьте ноду Create Runtime Viseme Generator и подключите ее к событию Begin Play
3. Сохраните вывод в переменную (например, "VisemeGenerator") для использования в других частях графа

Шаг 3: Настройка обработки аудиовхода

Вам нужно настроить метод обработки аудиовхода. Есть несколько способов сделать это в зависимости от источника аудио.

Микрофон (реальное время)

Этот подход выполняет синхронизацию губ в реальном времени при разговоре в микрофон:

1. Создайте Capturable Sound Wave используя Runtime Audio Importer
2. Перед началом захвата аудио, привяжитесь к делегату OnPopulateAudioData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Начните захват аудио с микрофона

Копируемые ноды.

Микрофон (воспроизведение)

Этот подход захватывает аудио с микрофона, затем воспроизводит его с синхронизацией губ:

1. Создайте Capturable Sound Wave используя Runtime Audio Importer
2. Начните захват аудио с микрофона
3. Перед воспроизведением capturable sound wave, привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Примечание: Если вы хотите обрабатывать аудиоданные меньшими порциями для более отзывчивой синхронизации губ, отрегулируйте расчет в функции SetNumSamplesPerChunk. Например, деление частоты дискретизации на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления синхронизации губ.

Text-to-Speech (локальный)

Обычный

Этот подход синтезирует речь из текста и выполняет синхронизацию губ:

1. Используйте Runtime Text To Speech для генерации речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением импортированного sound wave, привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Примечание: Если вы хотите обрабатывать аудиоданные меньшими порциями для более отзывчивой синхронизации губ, отрегулируйте расчет в функции SetNumSamplesPerChunk. Например, деление частоты дискретизации на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления синхронизации губ.

Стриминг

Этот подход использует потоковый синтез речи из текста с синхронизацией губ в реальном времени:

1. Используйте Runtime Text To Speech для генерации потоковой речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением streaming sound wave, привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Примечание: Если вы хотите обрабатывать аудиоданные меньшими порциями для более отзывчивой синхронизации губ, отрегулируйте расчет в функции SetNumSamplesPerChunk. Например, деление частоты дискретизации на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления синхронизации губ.

Text-to-Speech (внешние API)

Обычный

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации синтезированной речи от AI-сервисов и выполнения синхронизации губ:

1. Используйте Runtime AI Chatbot Integrator для генерации речи из текста с использованием внешних API (OpenAI, ElevenLabs и др.)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением импортированного sound wave, привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Примечание: Если вы хотите обрабатывать аудиоданные меньшими порциями для более отзывчивой синхронизации губ, отрегулируйте расчет в функции SetNumSamplesPerChunk. Например, деление частоты дискретизации на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления синхронизации губ.

Стриминг

Этот подход использует плагин Runtime AI Chatbot Integrator для подключения к потоковым TTS API (например ElevenLabs Streaming API):

1. Используйте Runtime AI Chatbot Integrator для подключения к потоковым TTS API
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением streaming sound wave, привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Примечание: Если вы хотите обрабатывать аудиоданные меньшими порциями для более отзывчивой синхронизации губ, отрегулируйте расчет в функции SetNumSamplesPerChunk. Например, деление частоты дискретизации на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления синхронизации губ.

Из аудиофайла/буфера

Этот подход использует предзаписанные аудиофайлы или аудиобуферы для синхронизации губ:

1. Используйте Runtime Audio Importer для импорта аудиофайла с диска или из памяти
2. Перед воспроизведением импортированного sound wave, привяжитесь к его делегату OnGeneratePCMData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Воспроизведите импортированный sound wave и наблюдайте анимацию синхронизации губ

Копируемые ноды.

Примечание: Если вы хотите обрабатывать аудиоданные меньшими порциями для более отзывчивой синхронизации губ, отрегулируйте расчет в функции SetNumSamplesPerChunk. Например, деление частоты дискретизации на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления синхронизации губ.

Кастомный источник аудио

Для кастомного источника аудио вам нужно:

1. Аудиоданные в формате float PCM (массив сэмплов с плавающей точкой)
2. Частота дискретизации и количество каналов
3. Вызовите ProcessAudioData из вашего Runtime Viseme Generator с этими параметрами

Пример стриминга аудио из кастомного источника:

Копируемые ноды.

Примечание: Если вы хотите обрабатывать аудиоданные меньшими порциями для более отзывчивой синхронизации губ, отрегулируйте расчет в функции SetNumSamplesPerChunk. Например, деление частоты дискретизации на 150 (стриминг каждые ~6.67 мс) вместо 100 (стриминг каждые 10 мс) обеспечит более частые обновления синхронизации губ.

Шаг 4: Настройка Anim Graph

После настройки Event Graph переключитесь на Anim Graph, чтобы подключить генератор визем к анимации персонажа:

Синхронизация губ

1. Найдите позу, содержащую лицо MetaHuman (обычно из Use cached pose 'Body Pose')
2. Добавьте ноду Blend Runtime MetaHuman Lip Sync
3. Подключите позу к Source Pose ноды Blend Runtime MetaHuman Lip Sync
4. Подключите вашу переменную RuntimeVisemeGenerator к пину Viseme Generator
5. Подключите вывод ноды Blend Runtime MetaHuman Lip Sync к пину Result ноды Output Pose

Когда в аудио будет обнаружена синхронизация губ, ваш персонаж будет динамически анимироваться соответствующим образом:

Анимация смеха

Вы также можете