Перейти к основному содержимому

Обзор

Документация Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync — это плагин, который обеспечивает синхронизацию губ в реальном времени, оффлайн и кросс-платформенно как для MetaHuman, так и для пользовательских персонажей. Он позволяет анимировать губы персонажа в ответ на аудиовход из различных источников, включая:

Плагин внутренне генерирует виземы (визуальные представления фонем) на основе аудиовхода и выполняет анимацию синхронизации губ с использованием предопределенного ассета поз.

Совместимость с персонажами​

Несмотря на название, Runtime MetaHuman Lip Sync работает с широким спектром персонажей, а не только с MetaHuman:

Популярные коммерческие системы персонажей​

  • Персонажи Daz Genesis 8/9
  • Персонажи Reallusion Character Creator 3/4 (CC3/CC4)
  • Персонажи Mixamo
  • Аватары ReadyPlayerMe

Поддержка стандартов анимации​

  • Системы блендшейпов на основе FACS
  • Стандарт блендшейпов Apple ARKit
  • Наборы фонем Preston Blair
  • Системы фонем 3ds Max
  • Любые персонажи с пользовательскими морф-таргетами для мимики

Подробные инструкции по использованию плагина с персонажами, отличными от MetaHuman, см. в Руководстве по настройке пользовательских персонажей.

Предпросмотр анимации​

Ознакомьтесь с этими короткими анимациями, чтобы оценить качество синхронизации губ в реальном времени, создаваемой плагином. Анимация может быть применена к любому поддерживаемому персонажу, будь то MetaHuman или пользовательский персонаж из любой поддерживаемой системы.

Lip Sync Example
Lip Sync Example
Lip Sync Example

Ключевые особенности​

  • Реалтайм синхронизация губ с микрофонным вводом
  • Поддержка оффлайн обработки аудио
  • Кросс-платформенная совместимость: Windows, Android, Meta Quest
  • Поддержка множества систем персонажей и стандартов анимации
  • Гибкое маппинга визем для кастомных персонажей

Как это работает​

Плагин обрабатывает аудиовход следующим образом:

  1. Аудиоданные поступают в формате PCM (float) с указанными каналами и частотой дискретизации
  2. Плагин обрабатывает аудио для генерации визем (фонем)
  3. Эти виземы управляют анимацией синхронизации губ с использованием pose-ассета персонажа
  4. Анимация применяется к персонажу в реальном времени

Быстрый старт​

Базовая настройка синхронизации губ для вашего персонажа:

  1. Для MetaHuman персонажей следуйте MetaHuman Setup Guide
  2. Для кастомных персонажей следуйте Custom Character Setup Guide
  3. Настройте обработку аудиовхода (например, в Event Graph)
  4. Подключите ноду Blend Runtime MetaHuman Lip Sync в Anim Graph
  5. Воспроизведите аудио и наблюдайте за речью персонажа!

Дополнительные ресурсы​