Descripción general
Runtime MetaHuman Lip Sync es un plugin que habilita sincronización labial en tiempo real, offline y multiplataforma para personajes de MetaHuman. Permite animar los labios de un personaje en respuesta a una entrada de audio de diversas fuentes, incluyendo:
- Entrada de micrófono a través de la capturable sound wave del Runtime Audio Importer
- Voz sintetizada de Runtime Text To Speech
- Cualquier dato de audio en formato float PCM (una matriz de muestras de punto flotante)
El plugin genera internamente visemas (representaciones visuales de fonemas) basados en la entrada de audio y realiza animación de sincronización labial usando un recurso de pose predefinido.
Vista previa de animación
Mira esta breve animación para ver la calidad de la animación de sincronización labial en tiempo real producida por el plugin. La animación puede aplicarse a cualquier personaje basado en MetaHuman, ya sea el MetaHuman predeterminado o uno personalizado.
Características clave
- Sincronización labial en tiempo real desde entrada de micrófono
- Soporte de procesamiento de audio offline
- Compatibilidad multiplataforma: Windows, Mac, Android, MetaQuest
Cómo funciona
El plugin procesa la entrada de audio de la siguiente manera:
- Se recibe el dato de audio en formato float PCM con canales y tasa de muestreo específicos
- El plugin procesa el audio para generar visemas (fonemas)
- Estos visemas dirigen la animación de sincronización labial usando el recurso de pose de MetaHuman
- La animación se aplica al personaje MetaHuman en tiempo real
Inicio rápido
Aquí tienes una configuración básica para habilitar la sincronización labial en tu personaje MetaHuman:
- Asegúrate de que el plugin de MetaHuman esté habilitado y tengas un personaje MetaHuman en tu proyecto
- Modifica el Blueprint de Animación Facial de tu MetaHuman
- Configura el procesamiento de entrada de audio (como en el Event Graph)
- Conecta el nodo Blend Runtime MetaHuman Lip Sync en el Anim Graph
- Reproduce audio y mira a tu personaje hablar!
Para pasos detallados de implementación, consulta la página Cómo usar el plugin.
Recursos adicionales
- Consíguelo en Fab
- Descargar Demo (Windows)
- Servidor de soporte en Discord
- Tutorial en video
- Desarrollo personalizado: [email protected] (soluciones a medida para equipos y organizaciones)