Saltar al contenido principal

Resumen

Documentación de Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync es un plugin que permite sincronización de labios en tiempo real, sin conexión y multiplataforma tanto para personajes MetaHuman como personalizados. Te permite animar los labios de un personaje en respuesta a entrada de audio de varias fuentes, incluyendo:

El plugin genera internamente visemas (representaciones visuales de fonemas) basados en la entrada de audio. Como trabaja directamente con datos de audio en lugar de texto, el plugin soporta entrada multilingüe incluyendo pero no limitado a inglés, español, francés, alemán, japonés, chino, coreano, ruso, italiano, portugués, árabe e hindi. Literalmente cualquier idioma es soportado ya que la sincronización de labios se genera a partir de fonemas de audio en lugar de procesamiento de texto específico de un idioma.

El Modelo Estándar produce 14 visemas y realiza animación de sincronización de labios usando un asset de poses predefinido. En contraste, el Modelo Realista (exclusivo para personajes MetaHuman) genera 250 cambios de morph target sin depender de un asset de poses predefinido, resultando en animaciones faciales significativamente más realistas.

Compatibilidad de Personajes​

A pesar de su nombre, Runtime MetaHuman Lip Sync funciona con una amplia gama de personajes más allá de solo MetaHumans:

Sistemas de Personajes Comerciales Populares​

  • Personajes Daz Genesis 8/9
  • Personajes Reallusion Character Creator 3/4 (CC3/CC4)
  • Personajes Mixamo
  • Avatares ReadyPlayerMe

Soporte de Estándares de Animación​

  • Sistemas de blendshape basados en FACS
  • Estándar de blendshape Apple ARKit
  • Conjuntos de fonemas Preston Blair
  • Sistemas de fonemas 3ds Max
  • Cualquier personaje con morph targets personalizados para expresiones faciales

Para instrucciones detalladas sobre cómo usar el plugin con personajes no MetaHuman, consulta la Guía de Configuración de Personajes Personalizados.

Vista Previa de Animación​

Mira estas cortas animaciones para ver la calidad de sincronización de labios producida por el plugin en diferentes tipos de personajes y modelos:

Realistic Lip Sync Example
Modelo realista con personaje MetaHuman
Standard Lip Sync Example
Modelo estándar con personaje MetaHuman
Custom Character Lip Sync Example
Modelo estándar con personaje personalizado
Custom Character Lip Sync Example
Modelo estándar con personaje personalizado

Características Principales​

  • Sincronización labial en tiempo real desde entrada de micrófono
  • Soporte para procesamiento de audio offline
  • Compatibilidad multiplataforma: Windows, Android, Meta Quest
  • Soporte para múltiples sistemas de personajes y estándares de animación
  • Mapeo flexible de visemas para personajes personalizados
  • Soporte universal de idiomas - funciona con cualquier idioma hablado mediante análisis de audio

Modelos de Sincronización Labial​

El plugin ofrece dos modelos de sincronización labial para adaptarse a diferentes necesidades del proyecto:

El modelo estándar de sincronización labial ofrece un rendimiento eficiente y multiplataforma con amplia compatibilidad de personajes:

  • Funciona con MetaHumans y todo tipo de personajes personalizados
  • Optimizado para rendimiento en tiempo real en todas las plataformas
  • Requisitos de recursos más bajos
  • Compatibilidad total con TTS local (plugin Runtime Text To Speech)
  • Adecuado para aplicaciones móviles y de VR/AR
Extensión Requerida

Para usar el Modelo Estándar (Más Rápido), necesitas instalar un plugin de extensión adicional. Consulta la sección de Requisitos para instrucciones de instalación.

Puedes elegir el modelo apropiado según los requisitos de tu proyecto en cuanto a rendimiento, compatibilidad de personajes y calidad visual.

Nota sobre Compatibilidad con TTS

Aunque ambos modelos soportan varios métodos de entrada de audio, el modelo Realista tiene compatibilidad limitada con TTS local debido a conflictos con el runtime ONNX. Para funcionalidad de texto a voz con el modelo Realista, se recomiendan servicios TTS externos (OpenAI, ElevenLabs).

Cómo Funciona​

El plugin procesa la entrada de audio de la siguiente manera:

  1. Los datos de audio se reciben en formato PCM como valores float con canales y tasa de muestreo especificados
  2. El plugin procesa el audio para generar visemas (fonemas)
  3. Estos visemas impulsan la animación de sincronización labial usando el asset de poses del personaje
  4. La animación se aplica al personaje en tiempo real

Inicio Rápido​

Aquí tienes una configuración básica para habilitar la sincronización labial en tu personaje:

  1. Para personajes MetaHuman, sigue la Guía de Configuración de MetaHuman
  2. Para personajes personalizados, sigue la Guía de Configuración de Personajes Personalizados
  3. Configura el procesamiento de entrada de audio (como en el Event Graph)
  4. Conecta el nodo Blend Runtime MetaHuman Lip Sync en el Anim Graph
  5. ¡Reproduce audio y verás a tu personaje hablar!

Recursos Adicionales​

📦 Descargas y Enlaces​

🎥 Tutoriales en Video​

Demo Destacada:​

Tutoriales de Modelo Realista (Alta Calidad):​

Tutoriales de Modelo Estándar:​

Configuración General:​

💬 Soporte​