Saltar al contenido principal

Cómo usar el plugin con personajes personalizados

Esta guía te lleva a través del proceso de configurar Runtime MetaHuman Lip Sync para personajes que no son MetaHuman. Este proceso requiere familiaridad con conceptos de animación y rigging. Si necesitas ayuda para implementar esto para tu personaje específico, puedes contactar para soporte profesional en solutions@georgy.dev.

Nota importante sobre los modelos de Lip Sync​

Compatibilidad con personajes personalizados

Los personajes personalizados solo son compatibles con el modelo Estándar (Más Rápido).

El modelo Realista (Mayor Calidad) está diseñado exclusivamente para personajes MetaHuman y no puede usarse con personajes personalizados. A lo largo de esta guía, debes seguir las instrucciones del modelo Estándar de la guía de configuración principal cuando se haga referencia.

Plugin de Extensión Requerido: Para usar el Modelo Estándar con personajes personalizados, debes instalar el plugin de extensión Standard Lip Sync Extension como se describe en la sección de Prerrequisitos de la guía de configuración principal.

Esta extensión es requerida para todas las implementaciones de personajes personalizados descritas en esta guía.

Prerrequisitos​

Antes de comenzar, asegúrate de que tu personaje cumpla con estos requisitos:

  • Tiene un esqueleto válido
  • Contiene morph targets (blend shapes) para expresiones faciales
  • Idealmente tiene 10+ morph targets definiendo visemas (más visemas = mejor calidad de lip sync)

El plugin requiere mapear los morph targets de tu personaje a los siguientes visemas estándar:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Nota: Si tu personaje tiene un conjunto diferente de visemas (lo cual es probable), no necesitas coincidencias exactas para cada visema. A menudo son suficientes las aproximaciones; por ejemplo, mapear el visema SH de tu personaje al visema CH del plugin funcionaría efectivamente ya que son sonidos postalveolares estrechamente relacionados.

Referencia de mapeo de visemas​

Aquí hay mapeos entre sistemas comunes de visemas y los visemas requeridos por el plugin:

ARKit proporciona un conjunto completo de blendshapes para animación facial, incluyendo varias formas de boca. Así es cómo mapearlas a los visemas de RuntimeMetaHumanLipSync:

Visema de RuntimeMetaHumanLipSyncEquivalente en ARKitNotas
SilmouthCloseLa posición neutral/de reposo
PPmouthPressLeft + mouthPressRightPara sonidos bilabiales, usa ambas formas de presión juntas
FFlowerLipBiteLeft + lowerLipBiteRight (o mouthRollLower)El labio inferior contacta con los dientes superiores, como en los sonidos "f" y "v"
THtongueOutARKit tiene control directo de la lengua
DDjawOpen (suave) + tongueUp (si tienes rig de lengua)La lengua toca la cresta alveolar; leve caída de la mandíbula
KKmouthLeft o mouthRight (suave)Un leve tirón de la comisura de la boca aproxima sonidos velares
CHjawOpen (suave) + mouthFunnel (suave)Combina para sonidos postalveolares
SSmouthFrownUsa un leve ceño fruncido para sibilantes
NNjawOpen (muy suave) + mouthCloseBoca casi cerrada con leve apertura de mandíbula
RRmouthPucker (suave)Redondeo sutil para sonidos de r
AAjawOpen + mouthStretchLeft + mouthStretchRight (o jawOpen + mouthOpen)Boca muy abierta para el sonido "ah"
EjawOpen (suave) + mouthSmilePosición semiabierta con leve sonrisa
IHmouthSmile (suave)Leve separación de labios
OHmouthFunnelForma redondeada abierta
OUmouthPuckerLabios fuertemente redondeados

Creación de un Pose Asset personalizado​

Sigue estos pasos para crear un Pose Asset personalizado para tu personaje que se utilizará con el nodo Blend Runtime MetaHuman Lip Sync:

1. Localiza el Skeletal Mesh de tu personaje​

Encuentra el skeletal mesh que contiene los morph targets (blend shapes) que quieres usar para la animación de lip sync. Esto podría ser un mesh de cuerpo completo o solo un mesh facial, dependiendo del diseño de tu personaje.

2. Verifica los Morph Targets y Curves​

Antes de proceder, verifica que tu skeletal mesh tiene los morph targets y curves correspondientes apropiados para la animación de lip sync.

Verifica los Morph Targets: Confirma que tu skeletal mesh contiene morph targets (blend shapes) que pueden usarse como visemas para la animación de lip sync. La mayoría de personajes con soporte de animación facial deberían tener algunos morph targets de fonemas/visemas. Ejemplo de morph targets en un personaje

Importante: Verificar la pestaña Curves Este paso es especialmente crucial para personajes exportados desde Blender u otro software externo:

  1. Abre la pestaña Curves en el editor de Skeletal Mesh
  2. Comprueba si puedes ver curvas correspondientes a tus morph targets
  3. Si la pestaña Curves está vacía pero existen morph targets, añade manualmente nuevas curvas usando exactamente los mismos nombres que tus morph targets

Nota: Este problema ocurre comúnmente con exportaciones de Blender donde los morph targets se importan exitosamente pero las curvas de animación no se crean automáticamente. Sin curvas coincidentes, la animación no se poblará correctamente después de hacer bake al Control Rig.

Solución alternativa: Para prevenir este problema durante la exportación desde Blender, intenta habilitar Custom Properties y Animation en tus configuraciones de exportación FBX, lo cual puede ayudar a incluir curvas de animación junto con los morph targets.

3. Crear una animación de pose de referencia​

  1. Ve a Create Asset -> Create Animation -> Reference Pose
  2. Ingresa un nombre descriptivo para la secuencia de animación y guárdala en una ubicación apropiada
  3. La Animation Sequence creada se abrirá automáticamente, mostrando una animación vacía reproduciéndose en bucle

Creando un asset de pose de referencia Nombrando el asset de pose de referencia

  1. Haz clic en el botón Pause para detener la reproducción de la animación y facilitar la edición

Pausando la reproducción de la animación

4. Editar la secuencia de animación​

  1. Haz clic en Edit in Sequencer -> Edit with FK Control Rig
  2. En el diálogo Bake to Control Rig, haz clic en el botón Bake to Control Rig sin cambiar ninguna configuración

Editando con FK Control Rig Haciendo bake al Control Rig

  1. El editor cambiará a Animation Mode con la pestaña Sequencer abierta
  2. Establece el View Range End Time a 0016 (lo cual automáticamente establecerá también Working Range End a 0016)
  3. Arrastra el borde derecho del deslizador hasta el extremo derecho de la ventana del secuenciador

5. Preparar las Curvas de Animación​

  1. Regresa al recurso de Secuencia de Animación y localiza los morph targets en la lista Curves (si no son visibles, cierra y vuelve a abrir el recurso de Secuencia de Animación)
  2. Elimina cualquier morph target que no esté relacionado con visemas o movimientos de boca que quieras usar para el Lip Sync

6. Planifica tu mapeo de visemas​

Crea un plan de mapeo para emparejar los visemas de tu personaje con el conjunto requerido por el plugin. Por ejemplo:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Ten en cuenta que es aceptable tener mapeos repetidos cuando el conjunto de visemas de tu personaje no tiene coincidencias exactas para cada visema requerido.

7. Anima cada visema​

  1. Para cada visema, anima las curvas de morph target relevantes de 0.0 a 1.0
  2. Inicia cada animación de visema en un fotograma diferente
  3. Configura curvas adicionales según sea necesario (apertura de mandíbula/boca, posición de la lengua, etc.) para crear formas de visema de aspecto natural

8. Crear un Pose Asset​

  1. Ve a Create Asset -> Pose Asset -> Current Animation
  2. Ingresa un nombre descriptivo para el Pose Asset y guárdalo en una ubicación apropiada
  3. El Pose Asset creado se abrirá automáticamente, mostrando poses como Pose_0, Pose_1, etc., cada una correspondiente a un visema
  4. Previsualiza los pesos de los visemas para asegurarte de que funcionen como se espera

Creando un pose asset Nombrando el pose asset Pose asset con visemas

9. Finalizar el Pose Asset​

  1. Renombra cada pose para que coincida con los nombres de los visemas de la sección Prerequisites
  2. Elimina cualquier pose no utilizada

Configuración del manejo de audio y mezcla​

Una vez que tu activo de pose esté listo, necesitas configurar los nodos de manejo de audio y mezcla:

  1. Localiza o crea el Animation Blueprint de tu personaje
  2. Configura el manejo de audio y mezcla siguiendo los mismos pasos documentados en la guía de configuración estándar del plugin
  3. En el nodo Blend Runtime MetaHuman Lip Sync, selecciona tu Pose Asset personalizado en lugar del activo de pose predeterminado de MetaHuman

Seleccionando el activo de pose personalizado

Combinación con animaciones corporales​

Si deseas realizar lip sync junto con otras animaciones corporales:

  1. Sigue los mismos pasos documentados en la guía estándar del plugin
  2. Asegúrate de proporcionar los nombres correctos de los huesos para el esqueleto del cuello de tu personaje en lugar de usar los nombres de huesos de MetaHuman

Resultados​

Aquí hay ejemplos de personajes personalizados utilizando esta configuración:

Ejemplo 1: Lip sync con personaje personalizado

Ejemplo 2: Lip sync con sistema de visemas diferente

Ejemplo 3: Lip sync con sistema de visemas diferente

La calidad del lip sync depende en gran medida del personaje específico y de qué tan bien estén configurados sus visemas. Los ejemplos anteriores demuestran el plugin funcionando con diferentes tipos de personajes personalizados con sistemas de visemas distintos.