Resumen
Runtime MetaHuman Lip Sync es un plugin que permite sincronización labial en tiempo real, sin conexión y multiplataforma tanto para personajes MetaHuman como personalizados. Te permite animar los labios de un personaje en respuesta a audio proveniente de diversas fuentes, incluyendo:
- Entrada de micrófono mediante Runtime Audio Importer's capturable sound wave
- Voz sintetizada de Runtime Text To Speech o Runtime AI Chatbot Integrator
- Cualquier dato de audio en formato PCM float (un arreglo de muestras en punto flotante)
El plugin genera internamente visemas (representaciones visuales de fonemas) basados en la entrada de audio y realiza la animación de sincronización labial usando un asset de poses predefinido.
Compatibilidad con Personajes
A pesar de su nombre, Runtime MetaHuman Lip Sync funciona con una amplia gama de personajes más allá de los MetaHumans:
Sistemas de Personajes Comerciales Populares
- Personajes Daz Genesis 8/9
- Personajes Reallusion Character Creator 3/4 (CC3/CC4)
- Personajes Mixamo
- Avatares ReadyPlayerMe
Soporte para Estándares de Animación
- Sistemas de blendshapes basados en FACS
- Estándar de blendshapes Apple ARKit
- Conjuntos de fonemas Preston Blair
- Sistemas de fonemas de 3ds Max
- Cualquier personaje con morph targets personalizados para expresiones faciales
Para instrucciones detalladas sobre cómo usar el plugin con personajes no MetaHuman, consulta la Guía de Configuración para Personajes Personalizados.
Vista Previa de Animación
Mira estas cortas animaciones para ver la calidad de sincronización labial que produce el plugin en diferentes tipos de personajes y modelos:
Características Clave
- Sincronización labial en tiempo real desde entrada de micrófono
- Soporte para procesamiento de audio offline
- Compatibilidad multiplataforma: Windows, Android, Meta Quest
- Soporte para múltiples sistemas de personajes y estándares de animación
- Mapeo flexible de visemas para personajes personalizados
Modelos de Sincronización Labial
El plugin ofrece dos modelos de sincronización labial para adaptarse a diferentes necesidades del proyecto:
- Modelo Estándar
- Modelo Realista
El modelo estándar de sincronización labial ofrece un rendimiento eficiente y multiplataforma con amplia compatibilidad de personajes:
- Funciona con MetaHumans y todo tipo de personajes personalizados
- Optimizado para rendimiento en tiempo real en todas las plataformas
- Requisitos de recursos más bajos
- Compatibilidad completa con TTS local (plugin Runtime Text To Speech)
- Adecuado para aplicaciones móviles y de VR/AR
El modelo realista de sincronización labial ofrece mayor fidelidad visual específicamente para personajes MetaHuman:
- Exclusivo para MetaHumans con animación facial avanzada
- Mayor calidad visual con movimientos de boca más naturales
- Requisitos de rendimiento ligeramente superiores
- Soporte limitado para TTS local (se recomiendan servicios TTS externos)
- Ideal para experiencias cinemáticas e interacciones cercanas con personajes
Puedes elegir el modelo apropiado según los requisitos de tu proyecto en cuanto a rendimiento, compatibilidad de personajes y calidad visual.
Aunque ambos modelos soportan varios métodos de entrada de audio, el modelo Realista tiene compatibilidad limitada con TTS local debido a conflictos con el runtime ONNX. Para funcionalidad de texto-a-voz con el modelo Realista, se recomiendan servicios TTS externos (OpenAI, ElevenLabs).
Cómo Funciona
El plugin procesa la entrada de audio de la siguiente manera:
- Los datos de audio se reciben en formato PCM como valores float con canales y tasa de muestreo especificados
- El plugin procesa el audio para generar visemas (fonemas)
- Estos visemas controlan la animación de sincronización labial usando el asset de poses del personaje
- La animación se aplica al personaje en tiempo real
Inicio Rápido
Aquí tienes una configuración básica para habilitar la sincronización labial en tu personaje:
- Para personajes MetaHuman, sigue la Guía de Configuración MetaHuman
- Para personajes personalizados, sigue la Guía de Configuración para Personajes Personalizados
- Configura el procesamiento de entrada de audio (como en el Event Graph)
- Conecta el nodo Blend Runtime MetaHuman Lip Sync en el Anim Graph
- ¡Reproduce audio y verás a tu personaje hablar!
Recursos Adicionales
📦 Descargas & Enlaces
- Consíguelo en Fab
- Sitio web del producto
- Descargar Demo (Windows)
- Descargar archivos fuente de la Demo (UE 5.5)
🎥 Tutoriales en Video
Tutoriales del Modelo Realista (Alta Calidad):
- Sincronización Labial de Alta Calidad con ElevenLabs & OpenAI TTS en UE 5.6+ ⭐ NUEVO
- Sincronización Labial en Vivo con Micrófono de Alta Calidad para UE 5.6+ ⭐ NUEVO
Tutoriales del Modelo Estándar:
- Sincronización Labial en Vivo Estándar para UE 5.6+
- Sincronización Labial Estándar con Texto-a-Voz Local en UE 5.6+
- Sincronización Labial Estándar con ElevenLabs & OpenAI TTS en UE 5.6+
Configuración General:
💬 Soporte
- Servidor de soporte en Discord
- Desarrollo Personalizado: [email protected] (soluciones a medida para equipos y organizaciones)