Saltar al contenido principal

Resumen

Documentación de Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync es un plugin que permite sincronización de labios en tiempo real, sin conexión y multiplataforma tanto para MetaHumans como para personajes personalizados. Te permite animar los labios de un personaje en respuesta a audio proveniente de diversas fuentes, incluyendo:

El plugin genera internamente visemas (representaciones visuales de fonemas) basados en la entrada de audio y realiza la animación de sincronización labial usando un asset de poses predefinido.

Compatibilidad con Personajes​

A pesar de su nombre, Runtime MetaHuman Lip Sync funciona con una amplia gama de personajes más allá de los MetaHumans:

Sistemas de Personajes Comerciales Populares​

  • Personajes Daz Genesis 8/9
  • Personajes Reallusion Character Creator 3/4 (CC3/CC4)
  • Personajes Mixamo
  • Avatares ReadyPlayerMe

Soporte para Estándares de Animación​

  • Sistemas de blendshapes basados en FACS
  • Estándar de blendshapes Apple ARKit
  • Conjuntos de fonemas Preston Blair
  • Sistemas de fonemas de 3ds Max
  • Cualquier personaje con morph targets personalizados para expresiones faciales

Para instrucciones detalladas sobre cómo usar el plugin con personajes no MetaHuman, consulta la Guía de Configuración para Personajes Personalizados.

Vista Previa de Animación​

Echa un vistazo a estas animaciones cortas para ver la calidad de la animación de sincronización labial en tiempo real producida por el plugin. La animación puede aplicarse a cualquier personaje soportado, ya sea MetaHuman o un personaje personalizado de cualquiera de los sistemas soportados.

Lip Sync Example
Lip Sync Example
Lip Sync Example

Características Clave​

  • Sincronización de labios en tiempo real desde entrada de micrófono
  • Soporte para procesamiento de audio offline
  • Compatibilidad multiplataforma: Windows, Android, Meta Quest
  • Soporte para múltiples sistemas de personajes y estándares de animación
  • Mapeo flexible de visemas para personajes personalizados

Cómo Funciona​

El plugin procesa la entrada de audio de la siguiente manera:

  1. Los datos de audio se reciben en formato PCM como valores float con canales y tasa de muestreo especificados
  2. El plugin procesa el audio para generar visemas (fonemas)
  3. Estos visemas impulsan la animación de sincronización de labios utilizando el asset de poses del personaje
  4. La animación se aplica al personaje en tiempo real

Guía Rápida​

Aquí hay una configuración básica para habilitar la sincronización de labios en tu personaje:

  1. Para personajes MetaHuman, sigue la Guía de Configuración MetaHuman
  2. Para personajes personalizados, sigue la Guía de Configuración de Personajes Personalizados
  3. Configura el procesamiento de entrada de audio (por ejemplo en el Event Graph)
  4. Conecta el nodo Blend Runtime MetaHuman Lip Sync en el Anim Graph
  5. ¡Reproduce audio y verás a tu personaje hablar!

Recursos Adicionales​