Saltar al contenido principal

Resumen

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync es un plugin que habilita la sincronización labial en tiempo real, sin conexión y multiplataforma tanto para personajes MetaHuman como personalizados. Te permite animar los labios de un personaje en respuesta a una entrada de audio de varias fuentes, incluyendo:

El plugin genera internamente visemas (representaciones visuales de fonemas) basándose en la entrada de audio. Dado que funciona directamente con datos de audio en lugar de texto, el plugin admite entrada multilingüe incluyendo, entre otros, inglés, español, francés, alemán, japonés, chino, coreano, ruso, italiano, portugués, árabe e hindi. Literalmente, cualquier idioma es compatible, ya que la sincronización labial se genera a partir de fonemas de audio en lugar de un procesamiento de texto específico del idioma.

El Modelo Estándar produce 14 visemas y realiza la animación de sincronización labial utilizando un activo de pose predefinido. En contraste, los Modelos Realistas (exclusivos para personajes MetaHuman) generan 81 cambios de control facial sin depender de un activo de pose predefinido, lo que resulta en animaciones faciales significativamente más realistas.

Compatibilidad de Personajes​

A pesar de su nombre, Runtime MetaHuman Lip Sync funciona con una amplia gama de personajes más allá de los MetaHumans:

Sistemas de Personajes Comerciales Populares​

  • Personajes Daz Genesis 8/9
  • Personajes Reallusion Character Creator 3/4 (CC3/CC4)
  • Personajes Mixamo
  • Avatares ReadyPlayerMe

Soporte de Estándares de Animación​

  • Sistemas de blendshapes basados en FACS
  • Estándar de blendshapes Apple ARKit
  • Conjuntos de fonemas Preston Blair
  • Sistemas de fonemas 3ds Max
  • Cualquier personaje con objetivos de morfos personalizados para expresiones faciales

Para instrucciones detalladas sobre cómo usar el plugin con personajes que no son MetaHuman, consulta la Guía de Configuración de Personajes Personalizados.

Vista Previa de Animación​

Echa un vistazo a estas animaciones cortas para ver la calidad de la animación de sincronización labial producida por el plugin en diferentes tipos de personajes y modelos:

Modelo realista con personaje MetaHuman
Modelo estándar con personaje MetaHuman
Modelo estándar con personaje personalizado
Modelo estándar con personaje personalizado

Características Principales​

  • Sincronización labial en tiempo real desde entrada de micrófono
  • Soporte para procesamiento de audio sin conexión
  • Compatibilidad multiplataforma con soporte específico por plataforma para el modelo
  • Soporte para múltiples sistemas de personajes y estándares de animación
  • Mapeo flexible de visemas para personajes personalizados
  • Soporte de idioma universal: funciona con cualquier idioma hablado mediante análisis de audio
  • Animación facial consciente del estado de ánimo para una mayor expresividad
  • Tipos de salida configurables (cara completa o solo controles de la boca)

Modelos de Sincronización Labial​

El plugin ofrece múltiples modelos de sincronización labial para adaptarse a las diferentes necesidades del proyecto:

El modelo de sincronización labial estándar ofrece un rendimiento eficiente y multiplataforma con amplia compatibilidad de personajes:

  • Funciona con MetaHumans y todo tipo de personajes personalizados
  • Optimizado para rendimiento en tiempo real
  • Requisitos de recursos más bajos
  • Soporte de Plataforma: Windows, Android, plataformas basadas en Android (incluyendo Meta Quest)
Se Requiere un Plugin de Extensión

Para usar el Standard Model, necesitas instalar un plugin de extensión adicional. Consulta la sección de Prerrequisitos para obtener instrucciones de instalación.

Puedes elegir el modelo apropiado según los requisitos de tu proyecto en cuanto a rendimiento, compatibilidad de personajes, calidad visual, plataforma objetivo y necesidades de características.

Cómo Funciona​

El plugin procesa la entrada de audio de la siguiente manera:

  1. Los datos de audio se reciben en formato PCM de punto flotante con canales y frecuencia de muestreo especificados
  2. El plugin procesa el audio para generar datos de control facial o visemas dependiendo del modelo
  3. Para los modelos con estado de ánimo, se aplica el contexto emocional a la animación facial
  4. Los datos de animación impulsan los movimientos faciales del personaje en tiempo real

Arquitectura de Rendimiento​

Runtime MetaHuman Lip Sync utiliza inferencia solo por CPU para ofrecer resultados de sincronización labial consistentes y de baja latencia, adecuados para aplicaciones en tiempo real. Por defecto, el plugin realiza el procesamiento de sincronización labial cada 10 milisegundos (ajustable - ver Configuración del Plugin para todos los ajustes disponibles, incluidos Tamaño del Fragmento de Procesamiento, recuento de hilos y otros parámetros de rendimiento).

Descripción General de la Arquitectura del Modelo​

Los modelos de sincronización labial utilizan una red neuronal compacta basada en transformadores que procesa el audio mediante análisis de mel-espectrograma. Esta arquitectura ligera está diseñada específicamente para rendimiento en tiempo real con inferencia eficiente en CPU y una huella de memoria mínima.

¿Por Qué Inferencia por CPU?​

Para operaciones de inferencia pequeñas y frecuentes, como la sincronización labial en tiempo real, el procesamiento por CPU ofrece mejores características de latencia que la GPU. Con un tamaño de lote de 1 e intervalos de inferencia de 10-100ms, la sobrecarga de la GPU por transferencias PCIe y lanzamientos de kernel a menudo excede el tiempo real de cálculo. Además, en los motores de juego la GPU ya está saturada con renderizado, shaders y física, creando una contención de recursos que introduce picos de latencia impredecibles.

Compatibilidad de Hardware​

El plugin funciona eficientemente en la mayoría de las CPU de nivel medio y superior sin requerir hardware gráfico dedicado, proporcionando rendimiento en tiempo real en plataformas de escritorio, móviles y de RV. Para hardware más débil, puedes ajustar el Tipo de Modelo a Semi-Optimizado o Altamente Optimizado, o aumentar el Tamaño del Fragmento de Procesamiento para mantener el rendimiento en tiempo real con una capacidad de respuesta ligeramente reducida.

Inicio Rápido​

Aquí tienes una configuración básica para habilitar la sincronización labial en tu personaje:

  1. Para personajes MetaHuman, sigue la Guía de Configuración
  2. Para personajes personalizados, sigue la Guía de Configuración para Personajes Personalizados
  3. Elige y configura tu modelo de sincronización labial preferido
  4. Configura el procesamiento de entrada de audio en tu Blueprint
  5. Conecta el nodo de sincronización labial apropiado en el Animation Blueprint
  6. ¡Reproduce audio y observa a tu personaje hablar con emoción!

Recursos Adicionales​

📦 Descargas y Enlaces​

Proyectos de Demostración:

🎥 Tutoriales en Video​

Demostraciones Destacadas:​

Tutoriales del Realistic Model (Alta Calidad):​

Tutoriales del Standard Model:​

Configuración General:​

💬 Soporte​

  • Desarrollo Personalizado: [email protected] (soluciones a medida para equipos y organizaciones)
Join our Discord
online · support