Saltar al contenido principal

Cómo usar el plugin

Esta guía te lleva a través del proceso de configuración de Runtime MetaHuman Lip Sync para tus personajes MetaHuman.

Nota: Runtime MetaHuman Lip Sync funciona tanto con MetaHuman como con personajes personalizados. El plugin admite varios tipos de personajes, incluyendo:

  • Personajes comerciales populares (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, etc)
  • Personajes con blendshapes basados en FACS
  • Modelos que usan estándares de blendshape ARKit
  • Personajes con conjuntos de fonemas Preston Blair
  • Sistemas de fonemas de 3ds Max
  • Cualquier personaje con objetivos de morph personalizados para expresiones faciales

Para instrucciones detalladas sobre cómo configurar personajes personalizados, incluyendo referencias de mapeo de visemas para todos los estándares mencionados, consulta la Guía de configuración de personajes personalizados.

Requisitos previos

Antes de comenzar, asegúrate de:

  1. El plugin MetaHuman está habilitado en tu proyecto (Nota: A partir de UE 5.6, este paso ya no es necesario ya que la funcionalidad MetaHuman está integrada directamente en el motor)
  2. Tienes al menos un personaje MetaHuman descargado y disponible en tu proyecto
  3. El plugin Runtime MetaHuman Lip Sync está instalado

Plugins adicionales:

Configuración específica por plataforma

Configuración para Android / Meta Quest

Si estás desarrollando para plataformas Android o Meta Quest y encuentras errores de compilación con este plugin, deberás deshabilitar la arquitectura x86_64 (x64) de Android en la configuración de tu proyecto:

  1. Ve a Edit > Project Settings
  2. Navega a Platforms > Android
  3. En Platforms - Android, sección Build, encuentra Support x86_64 [aka x64] y asegúrate de que esté deshabilitado, como se muestra a continuación

Deshabilitar arquitectura x64 Android

Esto se debe a que el plugin actualmente solo admite las arquitecturas arm64-v8a y armeabi-v7a para plataformas Android / Meta Quest.

Proceso de configuración

Paso 1: Localizar y modificar el Blueprint de animación facial

Necesitas modificar un Animation Blueprint que se usará para las animaciones faciales de tu personaje MetaHuman. El Animation Blueprint facial predeterminado de MetaHuman se encuentra en:

Content/MetaHumans/Common/Face/Face_AnimBP

Face Animation Blueprint

Tienes varias opciones para implementar la funcionalidad de lip sync:

Abre directamente el Face_AnimBP predeterminado y realiza tus modificaciones. Cualquier cambio afectará a todos los personajes MetaHuman que utilicen este Animation Blueprint.

Nota: Este enfoque es conveniente pero impactará a todos los personajes que usen el Animation Blueprint predeterminado.

Importante: La mezcla de Runtime MetaHuman Lip Sync puede implementarse en cualquier asset de Animation Blueprint que tenga acceso a una pose que contenga los huesos faciales presentes en el Face_Archetype_Skeleton por defecto de MetaHuman. No estás limitado a las opciones anteriores - estos son solo enfoques comunes de implementación.

Paso 2: Configuración del Event Graph

Abre tu Face Animation Blueprint y cambia al Event Graph. Necesitarás crear un Runtime Viseme Generator que procesará datos de audio y generará visemas.

  1. Añade el nodo Event Blueprint Begin Play si no existe ya
  2. Añade el nodo Create Runtime Viseme Generator y conéctalo al evento Begin Play
  3. Guarda la salida como una variable (ej. "VisemeGenerator") para usar en otras partes del grafo

Creando Runtime Viseme Generator

Paso 3: Configuración del procesamiento de entrada de audio

Necesitas configurar un método para procesar la entrada de audio. Hay varias formas de hacerlo dependiendo de tu fuente de audio.

Este enfoque realiza lip sync en tiempo real mientras hablas al micrófono:

  1. Crea un Capturable Sound Wave usando Runtime Audio Importer
  2. Antes de comenzar a capturar audio, enlázate al delegado OnPopulateAudioData
  3. En la función enlazada, llama a ProcessAudioData desde tu Runtime Viseme Generator
  4. Comienza a capturar audio desde el micrófono

Nodos copiables.

Lip Sync Durante Captura de Audio

Paso 4: Configuración del Anim Graph

Después de configurar el Event Graph, cambia al Anim Graph para conectar el viseme generator a la animación del personaje:

Lip Sync

  1. Localiza la pose que contiene la cara del MetaHuman (típicamente desde Use cached pose 'Body Pose')
  2. Añade el nodo Blend Runtime MetaHuman Lip Sync
  3. Conecta la pose al Source Pose del nodo Blend Runtime MetaHuman Lip Sync
  4. Conecta tu variable RuntimeVisemeGenerator al pin Viseme Generator
  5. Conecta la salida del nodo Blend Runtime MetaHuman Lip Sync al pin Result del Output Pose

Mezcla de Runtime MetaHuman Lip Sync

Cuando se detecte lip sync en el audio, tu personaje se animará dinámicamente acorde:

Lip Sync

Animación de Risa

También puedes añadir animaciones de risa que responderán dinámicamente a risas detectadas en el audio:

  1. Añade el nodo Blend Runtime MetaHuman Laughter
  2. Conecta tu variable RuntimeVisemeGenerator al pin Viseme Generator
  3. Si ya estás usando lip sync:
    • Conecta la salida del nodo Blend Runtime MetaHuman Lip Sync al Source Pose del nodo Blend Runtime MetaHuman Laughter
    • Conecta la salida del nodo Blend Runtime MetaHuman Laughter al pin Result del Output Pose
  4. Si solo usas risa sin lip sync:
    • Conecta tu pose fuente directamente al Source Pose del nodo Blend Runtime MetaHuman Laughter
    • Conecta la salida al pin Result

Mezcla de Runtime MetaHuman Laughter

Cuando se detecte risa en el audio, tu personaje se animará dinámicamente acorde:

Risa

Combinación con Animaciones Corporales

Para aplicar lip sync y risa junto a animaciones corporales existentes sin sobrescribirlas:

  1. Añade un nodo Layered blend per bone entre tus animaciones corporales y la salida final. Asegúrate que Use Attached Parent sea true.
  2. Configura el setup de capas:
    • Añade 1 item al array Layer Setup
    • Añade 3 items a los Branch Filters para la capa, con los siguientes Bone Names:
      • FACIAL_C_FacialRoot
      • FACIAL_C_Neck2Root
      • FACIAL_C_Neck1Root
  3. Haz las conexiones:
    • Animaciones existentes (como BodyPose) → entrada Base Pose
    • Salida de animación facial (desde nodos de lip sync y/o risa) → entrada Blend Poses 0
    • Nodo de mezcla por capas → pose Result final

Mezcla por Capas por Hueso

Por qué funciona: Los branch filters aíslan huesos de animación facial, permitiendo que lip sync y risa se mezclen exclusivamente con movimientos faciales mientras preservan animaciones corporales originales. Esto coincide con la estructura del rig facial de MetaHuman, asegurando integración natural.

Nota: Las características de lip sync y risa están diseñadas para funcionar de forma no destructiva con tu setup de animación existente. Solo afectan los huesos faciales específicos necesarios para movimiento de boca, dejando otras animaciones faciales intactas. Esto significa que puedes integrarlas de forma segura en cualquier punto de tu cadena de animación - ya sea antes de otras animaciones faciales (permitiendo que esas animaciones sobrescriban lip sync/risa) o después de ellas (dejando que lip sync/risa se mezcle encima de tus animaciones existentes). Esta flexibilidad te permite combinar lip sync y risa con parpadeo de ojos, movimientos de cejas, expresiones emocionales y otras animaciones faciales sin conflictos.

Configuración

Configuración de Lip Sync

El nodo Blend Runtime MetaHuman Lip Sync tiene opciones de configuración en su panel de propiedades:

PropiedadValor por DefectoDescripción
Interpolation Speed25Controla qué tan rápido transicionan los movimientos labiales entre visemas. Valores más altos resultan en transiciones más rápidas y abruptas.
Reset Time0.2Duración en segundos después de la cual el lip sync se reinicia. Útil para prevenir que el lip sync continúe después de que el audio se detuvo.

Configuración de Risa

El nodo Blend Runtime MetaHuman Laughter tiene sus propias opciones de configuración:

PropiedadValor por DefectoDescripción
Interpolation Speed25Controla qué tan rápido transicionan los movimientos labiales entre animaciones de risa. Valores más altos resultan en transiciones más rápidas y abruptas.
Reset Time0.2Duración en segundos después de la cual la risa se reinicia. Útil para prevenir que la risa continúe después de que el audio se detuvo.
Max Laughter Weight0.7Escala la intensidad máxima de la animación de risa (0.0 - 1.0).