Перейти к основному содержимому

Обзор

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync — это плагин, который обеспечивает синхронизацию губ в реальном времени, оффлайн и на разных платформах для персонажей MetaHuman. Он позволяет анимировать губы персонажа в ответ на аудио входные данные из различных источников, включая:

Плагин внутренне генерирует виземы (визуальные представления фонем) на основе аудио входных данных и выполняет анимацию синхронизации губ, используя предварительно заданный asset позы.

Предварительный просмотр анимации​

Посмотрите этот короткий ролик, чтобы увидеть качество анимации синхронизации губ в реальном времени, производимой плагином. Анимация может быть применена к любому персонажу на базе MetaHuman, будь то стандартный MetaHuman или кастомный.

Lip Sync Example

Основные функции​

  • Синхронизация губ в реальном времени с входа микрофона
  • Поддержка оффлайн обработки аудио
  • Совместимость с различными платформами: Windows, Mac, Android, MetaQuest

Как это работает​

Плагин обрабатывает аудио входные данные следующим образом:

  1. Аудиоданные принимаются в формате float PCM с указанными каналами и частотой дискретизации
  2. Плагин обрабатывает аудио для генерации виземов (фонем)
  3. Эти виземы управляют анимацией синхронизации губ с использованием позового ассета MetaHuman
  4. Анимация применяется к персонажу MetaHuman в реальном времени

Быстрый старт​

Вот базовая настройка для включения синхронизации губ на вашем персонаже MetaHuman:

  1. Убедитесь, что плагин MetaHuman включен, и у вас есть персонаж MetaHuman в проекте
  2. Измените анимационный Blueprint лица вашего MetaHuman
  3. Настройте обработку аудиовхода (например, в Event Graph)
  4. Подключите узел Blend Runtime MetaHuman Lip Sync в Anim Graph
  5. Воспроизведите аудио и смотрите, как персонаж говорит!

Для подробных шагов по реализации см. страницу Как использовать плагин.

Дополнительные ресурсы​