Cómo usar el plugin

Esta guía te lleva paso a paso por el proceso de configurar Runtime MetaHuman Lip Sync para tus personajes MetaHuman.

Nota: Runtime MetaHuman Lip Sync funciona tanto con MetaHuman como con personajes personalizados. El plugin soporta varios tipos de personajes incluyendo:

• Personajes comerciales populares (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, etc)
• Personajes con blendshapes basados en FACS
• Modelos que usan estándares de blendshape ARKit
• Personajes con conjuntos de fonemas Preston Blair
• Sistemas de fonemas de 3ds Max
• Cualquier personaje con morph targets personalizados para expresiones faciales

Para instrucciones detalladas sobre cómo configurar personajes personalizados, incluyendo referencias de mapeo de visemas para todos los estándares mencionados, consulta la Guía de configuración de personajes personalizados.

Requisitos previos

Antes de comenzar, asegúrate de:

1. El plugin MetaHuman está habilitado en tu proyecto (Nota: A partir de UE 5.6, este paso ya no es necesario ya que la funcionalidad MetaHuman está integrada directamente en el motor)
2. Tienes al menos un personaje MetaHuman descargado y disponible en tu proyecto
3. El plugin Runtime MetaHuman Lip Sync está instalado

Plugins adicionales:

• Si planeas usar captura de audio (ej. entrada de micrófono), instala el plugin Runtime Audio Importer.
• Si planeas usar funcionalidad de texto a voz, instala el plugin Runtime Text To Speech.

Configuración específica por plataforma

Configuración para Android / Meta Quest

Si estás desarrollando para plataformas Android o Meta Quest y encuentras errores de compilación con este plugin, necesitarás deshabilitar la arquitectura x86_64 (x64) para Android en la configuración de tu proyecto:

1. Ve a Edit > Project Settings
2. Navega a Platforms > Android
3. En Platforms - Android, sección Build, encuentra Support x86_64 [aka x64] y asegúrate de que esté deshabilitado, como se muestra a continuación

Esto se debe a que el plugin actualmente solo soporta arquitecturas arm64-v8a y armeabi-v7a para plataformas Android / Meta Quest.

Proceso de configuración

Paso 1: Localizar y modificar el Blueprint de animación facial

UE 5.5 y anteriores (o MetaHumans Legacy en UE 5.6+)

Necesitas modificar un Animation Blueprint que se usará para las animaciones faciales de tu personaje MetaHuman. El Animation Blueprint facial predeterminado de MetaHuman se encuentra en:

Content/MetaHumans/Common/Face/Face_AnimBP

Tienes varias opciones para implementar la funcionalidad de lip sync:

Editar Asset Predeterminado (Opción Más Simple)

Abre directamente el Face_AnimBP predeterminado y realiza tus modificaciones. Cualquier cambio afectará a todos los personajes MetaHuman que utilicen este Animation Blueprint.

Nota: Este enfoque es conveniente pero impactará a todos los personajes que usen el Animation Blueprint predeterminado.

Crear un Duplicado

1. Duplica Face_AnimBP y asígnale un nombre descriptivo
2. Localiza la clase Blueprint de tu personaje (ej. para el personaje "Bryan", estaría en Content/MetaHumans/Bryan/BP_Bryan)
3. Abre el Blueprint del personaje y encuentra el componente Face
4. Cambia la propiedad Anim Class a tu nuevo Animation Blueprint duplicado

Nota: Este enfoque te permite personalizar el lip sync para personajes específicos mientras dejas otros sin cambios.

Usar Animation Blueprint Personalizado

Puedes implementar la mezcla de lip sync en cualquier Animation Blueprint que tenga acceso a los huesos faciales requeridos:

1. Crea o utiliza un Animation Blueprint personalizado existente
2. Asegúrate de que tu Animation Blueprint funcione con un esqueleto que contenga los mismos huesos faciales que el Face_Archetype_Skeleton predeterminado de MetaHuman (que es el esqueleto estándar usado para cualquier personaje MetaHuman)

Nota: Este enfoque te da la máxima flexibilidad para integración con sistemas de animación personalizados.

Personajes de MetaHuman Creator en UE 5.6+

A partir de UE 5.6, se introdujo el nuevo sistema MetaHuman Creator, que crea personajes sin el asset tradicional Face_AnimBP. Para estos personajes, el plugin proporciona un Animation Blueprint facial ubicado en:

Content/LipSyncData/LipSync_Face_AnimBP

Usando el Blueprint de Animación Facial del Plugin:

1. Localiza la clase Blueprint de tu personaje de MetaHuman Creator
2. Abre el Blueprint del personaje y encuentra el componente Face
3. Cambia la propiedad Anim Class al LipSync_Face_AnimBP del plugin
4. Continúa con los Pasos 2-4 para configurar la funcionalidad Runtime MetaHuman Lip Sync

Opciones Alternativas:

• Usar Instrucciones Legacy: Puedes seguir las instrucciones de UE 5.5 mencionadas arriba si trabajas con MetaHumans legacy o prefieres el flujo de trabajo tradicional
• Crear un Animation Blueprint Personalizado: Crea tu propio Animation Blueprint que funcione con la estructura de esqueleto de MetaHuman Creator

Nota: Si estás usando UE 5.6+ pero trabajas con MetaHumans legacy (no creados a través de MetaHuman Creator), usa las instrucciones de la pestaña "UE 5.5 and Earlier" en su lugar.

Importante: La mezcla de Runtime MetaHuman Lip Sync puede implementarse en cualquier asset de Animation Blueprint que tenga acceso a una pose que contenga los huesos faciales presentes en el Face_Archetype_Skeleton por defecto de MetaHuman. No estás limitado a las opciones anteriores - estos son solo enfoques de implementación comunes.

Paso 2: Configuración del Event Graph

Abre tu Face Animation Blueprint y cambia al Event Graph. Necesitarás crear un generador que procese datos de audio y genere animación de lip sync.

Modelo Estándar (Más Rápido)

1. Añade el nodo Event Blueprint Begin Play si no existe ya
2. Añade el nodo Create Runtime Viseme Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (ej. "VisemeGenerator") para usar en otras partes del grafo

Modelo Realista (Mayor Calidad)

1. Añade el nodo Event Blueprint Begin Play si no existe ya
2. Añade el nodo Create Realistic MetaHuman Lip Sync Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (ej. "RealisticLipSyncGenerator") para usar en otras partes del grafo

Nota: El Modelo Realista está optimizado específicamente para personajes MetaHuman y no es compatible con tipos de personajes personalizados.

Recreación del Generador del Modelo Realista

Para un funcionamiento confiable y consistente con el Modelo Realista, es requerido recrear el Realistic MetaHuman Lip Sync Generator cada vez que quieras alimentar nuevos datos de audio después de un periodo de inactividad. Esto se debe al comportamiento del runtime ONNX que puede hacer que el lip sync deje de funcionar al reutilizar generadores después de periodos de silencio.

Ejemplo de escenario: Si realizaste lip sync con TTS y luego lo detuviste, y más tarde quieres realizar lip sync nuevamente con nuevo audio, crea un nuevo Realistic MetaHuman Lip Sync Generator en lugar de reutilizar el existente.

Paso 3: Configurar el procesamiento de entrada de audio

Necesitas configurar un método para procesar la entrada de audio. Hay varias formas de hacer esto dependiendo de tu fuente de audio.

Micrófono (Tiempo real)

Este enfoque realiza lip sync en tiempo real mientras hablas al micrófono:

Modelo Estándar (Más Rápido)

1. Crea un Capturable Sound Wave usando Runtime Audio Importer
2. Antes de comenzar a capturar audio, enlázate al delegado OnPopulateAudioData
3. En la función enlazada, llama a ProcessAudioData desde tu Runtime Viseme Generator
4. Comienza a capturar audio desde el micrófono

Nodos copiables.

Modelo Realista (Mayor Calidad)

El Modelo Realista usa el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

En cada uno de los ejemplos mostrados para el Modelo Estándar, simplemente reemplaza:

• VisemeGenerator con tu variable RealisticLipSyncGenerator
• Los nombres de funciones y parámetros permanecen idénticos entre ambos modelos

Nodos copiables.

Micrófono (Reproducción)

Este enfoque captura audio desde un micrófono, luego lo reproduce con lip sync:

Modelo Estándar (Más Rápido)

1. Crea un Capturable Sound Wave usando Runtime Audio Importer
2. Comienza la captura de audio desde el micrófono
3. Antes de reproducir el capturable sound wave, enlázate a su delegado OnGeneratePCMData
4. En la función enlazada, llama a ProcessAudioData desde tu Runtime Viseme Generator

Nodos copiables.

Modelo Realista (Mayor Calidad)

El Modelo Realista usa el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

En cada uno de los ejemplos mostrados para el Modelo Estándar, simplemente reemplaza:

• VisemeGenerator con tu variable RealisticLipSyncGenerator
• Los nombres de funciones y parámetros permanecen idénticos entre ambos modelos

Nodos copiables.

Nota: Si quieres procesar datos de audio en fragmentos más pequeños para un lip sync más responsivo, ajusta el cálculo en la función SetNumSamplesPerChunk. Por ejemplo, dividir la tasa de muestreo por 150 (transmitiendo cada ~6.67 ms) en lugar de 100 (transmitiendo cada 10 ms) proporcionará actualizaciones de lip sync más frecuentes.

Text-to-Speech (Local)

Regular

Este enfoque sintetiza voz desde texto y realiza lip sync:

Modelo Estándar (Más Rápido)

1. Usa Runtime Text To Speech para generar voz desde texto
2. Usa Runtime Audio Importer para importar el audio sintetizado
3. Antes de reproducir el sound wave importado, enlázate a su delegado OnGeneratePCMData
4. En la función enlazada, llama a ProcessAudioData desde tu Runtime Viseme Generator

Nodos copiables.

Modelo Realista (Mayor Calidad)

Compatibilidad con TTS Local

El TTS local proporcionado por el plugin Runtime Text To Speech no es compatible actualmente con el Modelo Realista debido a conflictos con el runtime ONNX. Para text-to-speech con el Modelo Realista, considera usar servicios TTS externos (como OpenAI o ElevenLabs via Runtime AI Chatbot Integrator) o usa el Modelo Estándar en su lugar.

Nota: Si quieres procesar datos de audio en fragmentos más pequeños para un lip sync más responsivo, ajusta el cálculo en la función SetNumSamplesPerChunk. Por ejemplo, dividir la tasa de muestreo por 150 (transmitiendo cada ~6.67 ms) en lugar de 100 (transmitiendo cada 10 ms) proporcionará actualizaciones de lip sync más frecuentes.

Streaming

Este enfoque usa síntesis de text-to-speech en streaming con lip sync en tiempo real:

Modelo Estándar (Más Rápido)

1. Usa Runtime Text To Speech para generar voz en streaming desde texto
2. Usa Runtime Audio Importer para importar el audio sintetizado
3. Antes de reproducir el sound wave en streaming, enlázate a su delegado OnGeneratePCMData
4. En la función enlazada, llama a ProcessAudioData desde tu Runtime Viseme Generator

Nodos copiables.

Modelo Realista (Mayor Calidad)

Compatibilidad con TTS Local

El TTS local proporcionado por el plugin Runtime Text To Speech no es compatible actualmente con el Modelo Realista debido a conflictos con el runtime ONNX. Para text-to-speech con el Modelo Realista, considera usar servicios TTS externos (como OpenAI o ElevenLabs via Runtime AI Chatbot Integrator) o usa el Modelo Estándar en su lugar.

Nota: Si quieres procesar datos de audio en fragmentos más pequeños para un lip sync más responsivo, ajusta el cálculo en la función SetNumSamplesPerChunk. Por ejemplo, dividir la tasa de muestreo por 150 (transmitiendo cada ~6.67 ms) en lugar de 100 (transmitiendo cada 10 ms) proporcionará actualizaciones de lip sync más frecuentes.

Text-to-Speech (APIs Externas)

Regular

Este enfoque usa el plugin Runtime AI Chatbot Integrator para generar voz sintetizada desde servicios AI (OpenAI o ElevenLabs) y realizar lip sync:

Modelo Estándar (Más Rápido)

1. Usa Runtime AI Chatbot Integrator para generar voz desde texto usando APIs externas (OpenAI, ElevenLabs, etc.)
2. Usa Runtime Audio Importer para importar los datos de audio sintetizados
3. Antes de reproducir el sound wave importado, enlázate a su delegado OnGeneratePCMData
4. En la función enlazada, llama a ProcessAudioData desde tu Runtime Viseme Generator

Nodos copiables.

Modelo Realista (Mayor Calidad)

El Modelo Realista usa el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

En cada uno de los ejemplos mostrados para el Modelo Estándar, simplemente reemplaza:

• VisemeGenerator con tu variable RealisticLipSyncGenerator
• Los nombres de funciones y parámetros permanecen idénticos entre ambos modelos

Nodos copiables.

Nota: Si quieres procesar datos de audio en fragmentos más pequeños para un lip sync más responsivo, ajusta el cálculo en la función SetNumSamplesPerChunk. Por ejemplo, dividir la tasa de muestreo por 150 (transmitiendo cada ~6.67 ms) en lugar de 100 (transmitiendo cada 10 ms) proporcionará actualizaciones de lip sync más frecuentes.

Streaming

Este enfoque usa el plugin Runtime AI Chatbot Integrator para generar voz sintetizada en streaming desde servicios AI (OpenAI o ElevenLabs) y realizar lip sync:

Modelo Estándar (Más Rápido)

1. Usa Runtime AI Chatbot Integrator para conectarte a APIs de TTS en streaming (como ElevenLabs Streaming API)
2. Usa Runtime Audio Importer para importar los datos de audio sintetizados
3. Antes de reproducir el sound wave en streaming, enlázate a su delegado OnGeneratePCMData
4. En la función enlazada, llama a ProcessAudioData desde tu Runtime Viseme Generator

Nodos copiables.

Modelo Realista (Mayor Calidad)

El Modelo Realista usa el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

En cada uno de los ejemplos mostrados para el Modelo Estándar, simplemente reemplaza:

• VisemeGenerator con tu variable RealisticLipSyncGenerator
• Los nombres de funciones y parámetros permanecen idénticos entre ambos modelos

Nodos copiables.

Nota: Si quieres procesar datos de audio en fragmentos más pequeños para un lip sync más responsivo, ajusta el cálculo en la función SetNumSamplesPerChunk. Por ejemplo, dividir la tasa de muestreo por 150 (transmitiendo cada ~6.67 ms) en lugar de 100 (transmitiendo cada 10 ms) proporcionará actualizaciones de lip sync más frecuentes.

Desde Archivo/Buffer de Audio

Este enfoque usa archivos de audio pregrabados o buffers de audio para lip sync:

Modelo Estándar (Más Rápido)

1. Usa Runtime Audio Importer para importar un archivo de audio desde disco o memoria
2. Antes de reproducir el sound wave importado, enlázate a su delegado OnGeneratePCMData
3. En la función enlazada, llama a ProcessAudioData desde tu Runtime Viseme Generator
4. Reproduce el sound wave importado y observa la animación de lip sync

Nodos copiables.

Modelo Realista (Mayor Calidad)

El Modelo Realista usa el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

En cada uno de los ejemplos mostrados para el Modelo Estándar, simplemente reemplaza:

• VisemeGenerator con tu variable RealisticLipSyncGenerator
• Los nombres de funciones y parámetros permanecen idénticos entre ambos modelos

Nodos copiables.

Nota: Si quieres procesar datos de audio en fragmentos más pequeños para un lip sync más responsivo, ajusta el cálculo en la función SetNumSamplesPerChunk. Por ejemplo, dividir la tasa de muestreo por 150 (transmitiendo cada ~6.67 ms) en lugar de 100 (transmitiendo cada 10 ms) proporcionará actualizaciones de lip sync más frecuentes.

Fuente de Audio Personalizada

Para una fuente de audio personalizada, necesitas:

Modelo Estándar (Más Rápido)

1. Datos de audio en formato PCM float (un array de muestras en punto flotante)
2. La tasa de muestreo y número de canales
3. Llama a ProcessAudioData desde tu Runtime Viseme Generator con estos parámetros

Aquí hay un ejemplo de streaming de audio desde una fuente personalizada:

Nodos copiables.

Modelo Realista (Mayor Calidad)

El Modelo Realista usa el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

En cada uno de los ejemplos mostrados para el Modelo Estándar, simplemente reemplaza:

• VisemeGenerator con tu variable RealisticLipSyncGenerator
• Los nombres de funciones y parámetros permanecen idénticos entre ambos modelos

Nodos copiables.

Nota: Si quieres procesar datos de audio en fragmentos más pequeños para un lip sync más responsivo, ajusta el cálculo en la función SetNumSamplesPerChunk. Por ejemplo, dividir la tasa de muestreo por 150 (transmitiendo cada ~6.67 ms) en lugar de 100 (transmitiendo cada 10 ms) proporcionará actualizaciones de lip sync más frecuentes.

Paso 4: Configuración del Anim Graph

Después de configurar el Event Graph, cambia al Anim Graph para conectar el generador a la animación del personaje:

Lip Sync

Modelo Estándar (Más Rápido)

1. Localiza la pose que contiene la cara del MetaHuman (típicamente desde Use cached pose 'Body Pose')
2. Añade el nodo Blend Runtime MetaHuman Lip Sync
3. Conecta la pose al Source Pose del nodo Blend Runtime MetaHuman Lip Sync
4. Conecta tu variable RuntimeVisemeGenerator al pin Viseme Generator
5. Conecta la salida del nodo Blend Runtime MetaHuman Lip Sync al pin Result del Output Pose

Cuando se detecte lip sync en el audio, tu personaje se animará dinámicamente en consecuencia:

Modelo Realista (Mayor Calidad)

1. Localiza la pose que contiene la cara del MetaHuman (típicamente desde Use cached pose 'Body Pose')
2. Añade el nodo Blend Realistic MetaHuman Lip Sync
3. Conecta la pose al Source Pose del nodo Blend Realistic MetaHuman Lip Sync
4. Conecta tu variable RealisticLipSyncGenerator al pin Lip Sync Generator
5. Conecta la salida del nodo Blend Realistic MetaHuman Lip Sync al pin Result del Output Pose

El Modelo Realista proporciona mayor calidad visual con movimientos de boca más naturales:

Nota: El Modelo Realista está diseñado exclusivamente para personajes MetaHuman y no es compatible con tipos de personajes personalizados.

Animación de Risa

También puedes añadir animaciones de risa que responderán dinámicamente a la risa detectada en el audio:

1. Añade el nodo Blend Runtime MetaHuman Laughter
2. Conecta tu variable RuntimeVisemeGenerator al pin Viseme Generator
3. Si ya estás usando lip sync:
   • Conecta la salida del nodo Blend Runtime MetaHuman Lip Sync al Source Pose del nodo Blend Runtime MetaHuman Laughter
   • Conecta la salida del nodo Blend Runtime MetaHuman Laughter al pin Result del Output Pose
4. Si usas solo risa sin lip sync:
   • Conecta tu pose fuente directamente al Source Pose del nodo Blend Runtime MetaHuman Laughter
   • Conecta la salida al pin Result

Cuando se detecte risa en el audio, tu personaje se animará dinámicamente en consecuencia:

Combinando con Animaciones Corporales

Para aplicar lip sync y risa junto a animaciones corporales existentes sin sobrescribirlas:

1. Añade un nodo Layered blend per bone entre tus animaciones corporales y la salida final. Asegúrate de que Use Attached Parent sea true.
2. Configura el setup de capas:
   • Añade 1 item al array Layer Setup
   • Añade 3 items a los Branch Filters para la capa, con los siguientes Bone Names:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Haz las conexiones:
   • Animaciones existentes (como BodyPose) → entrada Base Pose
   • Salida de animación facial (desde nodos de lip sync y/o risa) → entrada Blend Poses 0
   • Nodo de mezcla por capas → pose final Result

Por qué funciona esto: Los filtros de rama aíslan los huesos de animación facial, permitiendo que lip sync y risa se mezclen exclusivamente con movimientos faciales mientras preservan las animaciones corporales originales. Esto coincide con la estructura del rig facial de MetaHuman, asegurando integración natural.

Nota: Las características de lip sync y risa están diseñadas para funcionar de forma no destructiva con tu setup de animación existente. Solo afectan los huesos faciales específicos necesarios para el movimiento de la boca, dejando intactas otras animaciones faciales. Esto significa que puedes integrarlos de forma segura en cualquier punto de tu cadena de animación - ya sea antes de otras animaciones faciales (permitiendo que esas animaciones sobrescriban lip sync/risa) o después de ellas (dejando que lip sync/risa se mezcle encima de tus animaciones existentes). Esta flexibilidad te permite combinar lip sync y risa con parpadeos, movimientos de cejas, expresiones emocionales y otras animaciones faciales sin conflictos.

Configuración

Configuración de Lip Sync

Modelo Estándar (Más Rápido)

El nodo Blend Runtime MetaHuman Lip Sync tiene opciones de configuración en su panel de propiedades:

Propiedad	Valor por Defecto	Descripción
Interpolation Speed	25	Controla qué tan rápido transicionan los movimientos labiales entre visemas. Valores más altos resultan en transiciones más rápidas y abruptas.
Reset Time	0.2	La duración en segundos después de la cual el lip sync se reinicia. Es útil para prevenir que el lip sync continúe después de que el audio se ha detenido.

Modelo Realista (Mayor Calidad)

El nodo Blend Realistic MetaHuman Lip Sync tiene opciones de configuración en su panel de propiedades:

Propiedad	Valor por Defecto	Descripción
Interpolation Speed	30	Controla qué tan rápido transicionan los movimientos labiales entre posiciones. Valores más altos resultan en transiciones más rápidas y abruptas.
Reset Time	0.2	La duración en segundos después de la cual el lip sync se reinicia. Es útil para prevenir que el lip sync continúe después de que el audio se ha detenido.

Configuración de Risa

El nodo Blend Runtime MetaHuman Laughter tiene sus propias opciones de configuración:

Propiedad	Valor por Defecto	Descripción
Interpolation Speed	25	Controla qué tan rápido transicionan los movimientos labiales entre animaciones de risa. Valores más altos resultan en transiciones más rápidas y abruptas.
Reset Time	0.2	La duración en segundos después de la cual la risa se reinicia. Es útil para prevenir que la risa continúe después de que el audio se ha detenido.
Max Laughter Weight	0.7	Escala la intensidad máxima de la animación de risa (0.0 - 1.0).

Eligiendo Entre Modelos de Lip Sync

Al decidir qué modelo de lip sync usar para tu proyecto, considera estos factores:

Consideración	Modelo Estándar	Modelo Realista
Compatibilidad de Personajes	MetaHumans y todos los tipos de personajes personalizados	Solo MetaHumans
Calidad Visual	Buen lip sync con rendimiento eficiente	Realismo mejorado con movimientos de boca más naturales
Rendimiento	Optimizado para todas las plataformas incluyendo móvil/VR	Requerimientos de recursos ligeramente mayores
Casos de Uso	Aplicaciones generales, juegos, VR/AR, móvil	Experiencias cinemáticas, interacciones cercanas con personajes

Para la mayoría de proyectos, el Modelo Estándar proporciona un excelente balance entre calidad y rendimiento mientras soporta el rango más amplio de tipos de personajes. El Modelo Realista es ideal cuando necesitas la máxima fidelidad visual específicamente para personajes MetaHuman en contextos donde la sobrecarga de rendimiento es menos crítica.