Resumen
Runtime MetaHuman Lip Sync es un plugin que permite la sincronización labial en tiempo real, sin conexión y multiplataforma tanto para personajes MetaHuman como personalizados. Te permite animar los labios de un personaje en respuesta a una entrada de audio de varias fuentes, incluyendo:
- Entrada de micrófono a través de la onda sonora capturable de Runtime Audio Importer
- Voz sintetizada de Runtime Text To Speech o Runtime AI Chatbot Integrator
- Cualquier dato de audio en formato PCM float (un array de muestras en coma flotante)
El plugin genera internamente visemas (representaciones visuales de fonemas) basándose en la entrada de audio. Dado que funciona directamente con datos de audio en lugar de texto, el plugin admite entrada multilingüe incluyendo, pero no limitándose a, inglés, español, francés, alemán, japonés, chino, coreano, ruso, italiano, portugués, árabe e hindi. Literalmente, se admite cualquier idioma ya que la sincronización labial se genera a partir de fonemas de audio en lugar de un procesamiento de texto específico del idioma.
El Modelo Estándar produce 14 visemas y realiza la animación de sincronización labial utilizando un activo de pose predefinido. En contraste, el Modelo Realista (exclusivo para personajes MetaHuman) genera 250 cambios de morph target sin depender de un activo de pose predefinido, lo que resulta en animaciones faciales significativamente más realistas.
Compatibilidad de Personajes
A pesar de su nombre, Runtime MetaHuman Lip Sync funciona con una amplia gama de personajes más allá de los MetaHumans:
Sistemas de Personajes Comerciales Populares
- Personajes Daz Genesis 8/9
- Personajes Reallusion Character Creator 3/4 (CC3/CC4)
- Personajes Mixamo
- Avatares ReadyPlayerMe
Soporte para Estándares de Animación
- Sistemas de blendshapes basados en FACS
- Estándar de blendshapes Apple ARKit
- Conjuntos de fonemas Preston Blair
- Sistemas de fonemas de 3ds Max
- Cualquier personaje con morph targets personalizados para expresiones faciales
Para instrucciones detalladas sobre el uso del plugin con personajes que no son MetaHuman, consulta la Guía de Configuración para Personajes Personalizados.
Vista Previa de la Animación
Echa un vistazo a estas breves animaciones para ver la calidad de la animación de sincronización labial producida por el plugin en diferentes tipos de personajes y modelos:




Características Principales
- Sincronización de labios en tiempo real desde entrada de micrófono
- Soporte para procesamiento de audio sin conexión
- Compatibilidad multiplataforma con soporte específico por plataforma para el modelo
- Soporte para múltiples sistemas de personajes y estándares de animación
- Mapeo flexible de visemas para personajes personalizados
- Soporte de idiomas universal: funciona con cualquier idioma hablado mediante análisis de audio
Modelos de Sincronización de Labios
El plugin ofrece dos modelos de sincronización de labios para adaptarse a diferentes necesidades del proyecto:
- Modelo Estándar
- Modelo Realista
El modelo de sincronización de labios estándar ofrece un rendimiento eficiente y multiplataforma con una amplia compatibilidad de personajes:
- Funciona con MetaHumans y todo tipo de personajes personalizados
- Optimizado para rendimiento en tiempo real
- Requisitos de recursos más bajos
- Compatibilidad total con TTS local (plugin Runtime Text To Speech)
- Soporte de Plataformas: Windows, Android, plataformas basadas en Android (Meta Quest)
Para usar el Modelo Estándar (Más Rápido), necesitas instalar un plugin de extensión adicional. Consulta la sección de Prerrequisitos para las instrucciones de instalación.
El modelo de sincronización de labios realista ofrece una fidelidad visual mejorada específicamente para personajes MetaHuman:
- Exclusivo para MetaHumans con animación facial avanzada
- Mayor calidad visual con movimientos de boca más naturales
- Requisitos de rendimiento ligeramente superiores
- Soporte limitado para TTS local (se recomiendan servicios TTS externos)
- Ideal para experiencias cinemáticas e interacciones de personajes en primer plano
- Soporte de Plataformas: Windows, Mac, iOS, Linux
El Modelo Realista está incluido en el plugin principal y no requiere extensiones adicionales para su uso.
Puedes elegir el modelo apropiado según los requisitos de tu proyecto en cuanto a rendimiento, compatibilidad de personajes, calidad visual y plataforma objetivo.
Si bien ambos modelos admiten varios métodos de entrada de audio, el modelo Realista tiene una compatibilidad limitada con TTS local debido a conflictos con el entorno de ejecución ONNX. Para la funcionalidad de texto a voz con el modelo Realista, se recomiendan servicios TTS externos (OpenAI, ElevenLabs).
Cómo Funciona
El plugin procesa la entrada de audio de la siguiente manera:
- Los datos de audio se reciben en formato PCM de punto flotante con canales y frecuencia de muestreo especificados
- El plugin procesa el audio para generar visemas (fonemas)
- Estos visemas impulsan la animación de sincronización de labios utilizando el activo de pose del personaje
- La animación se aplica al personaje en tiempo real
Inicio Rápido
Aquí tienes una configuración básica para habilitar la sincronización de labios en tu personaje:
- Para personajes MetaHuman, sigue la Guía de Configuración de MetaHuman
- Para personajes personalizados, sigue la Guía de Configuración de Personajes Personalizados
- Configura el procesamiento de entrada de audio (como en el Event Graph)
- Conecta el nodo Blend Runtime MetaHuman Lip Sync en el Anim Graph
- ¡Reproduce audio y observa a tu personaje hablar!
Recursos Adicionales
📦 Descargas y Enlaces
- Consíguelo en Fab
- Sitio web del producto
- Descargar Demo (Windows)
- Descargar archivos fuente de la Demo (UE 5.6) – Requiere este plugin + Runtime Audio Importer, opcional: Text To Speech / AI Chatbot. El modelo estándar requiere un pequeño plugin de extensión (ver aquí)
🎥 Tutoriales en Video
Demo Destacada:
Tutoriales de Modelo Realista (Alta Calidad):
- Lip Sync de Alta Calidad con ElevenLabs y OpenAI TTS ⭐ NUEVO
- Lip Sync en Vivo con Micrófono de Alta Calidad ⭐ NUEVO
Tutoriales de Modelo Estándar:
- Lip Sync en Vivo con Micrófono Estándar
- Lip Sync Estándar con Texto a Voz Local
- Lip Sync Estándar con ElevenLabs y OpenAI TTS
Configuración General:
💬 Soporte
- Servidor de soporte en Discord
- Desarrollo Personalizado: [email protected] (soluciones a medida para equipos y organizaciones)