Guía de Configuración

Esta guía te explica el proceso de configuración básica para Runtime MetaHuman Lip Sync con tus personajes MetaHuman.

Nota: Runtime MetaHuman Lip Sync funciona tanto con MetaHuman como con personajes personalizados. Para obtener instrucciones detalladas sobre la configuración de personajes personalizados, consulta la Guía de configuración de personajes personalizados.

Requisitos previos

Antes de comenzar, asegúrate de:

1. Requisitos del Plugin MetaHuman:

   • UE 5.5 y anteriores: Habilita el complemento MetaHuman en tu proyecto
   • UE 5.6 y posteriores: Habilita el complemento MetaHuman Core Tech en tu proyecto
   Plugins adicionales de MetaHuman

   Dependiendo de cómo crees tus personajes MetaHuman, es posible que necesites complementos adicionales. Por ejemplo, si planeas crear un MetaHuman con el nuevo sistema MetaHuman Creator introducido en UE 5.6, también deberás habilitar el complemento MetaHuman Creator. Para obtener más información sobre este sistema, consulta la documentación de MetaHuman Creator.

2. Tienes al menos un personaje MetaHuman descargado y disponible en tu proyecto

3. El plugin Runtime MetaHuman Lip Sync está instalado

Complemento de Extensión del Modelo Estándar

Si planeas usar el Modelo Estándar, necesitarás instalar el plugin de extensión:

1. Descarga el plugin Standard Lip Sync Extension desde aquí
2. Extrae la carpeta del archivo descargado en la carpeta Plugins de tu proyecto (crea esta carpeta si no existe)
3. Asegúrate de que tu proyecto esté configurado como un proyecto C++ (incluso si no tienes ningún código C++)
4. Reconstruye tu proyecto

nota

• Esta extensión solo es necesaria si deseas usar el Modelo Estándar. Si solo necesitas los Modelos Realistas, puedes omitir este paso.
• Para más información sobre cómo compilar plugins manualmente, consulta el tutorial de compilación de plugins

Plugins Adicionales

• Si planeas usar captura de audio (por ejemplo, entrada de micrófono), instala el plugin Runtime Audio Importer.
• Si planeas usar la funcionalidad de texto a voz:
  • Para TTS local (Modelo Estándar y Modelo Realista con Control de Estado de Ánimo), instala el plugin Runtime Text To Speech.
  • Para proveedores de TTS externos (ElevenLabs, OpenAI, Google Cloud, Azure), instala el plugin Runtime AI Chatbot Integrator.

Configuración de Animation Blueprint

Paso 1: Localiza y modifica el Blueprint de animación facial

UE 5.5 y anteriores (o MetaHumans heredados en UE 5.6+)

Debes modificar un Animation Blueprint que se usará para las animaciones faciales de tu personaje MetaHuman. El Animation Blueprint facial predeterminado de MetaHuman se encuentra en:

Content/MetaHumans/Common/Face/Face_AnimBP

Tienes varias opciones para implementar la funcionalidad de sincronización de labios.

Editar Activo Predeterminado (Opción Más Simple)

Abre directamente el Face_AnimBP predeterminado y realiza tus modificaciones. Cualquier cambio afectará a todos los personajes MetaHuman que utilicen este Animation Blueprint.

Nota: Este enfoque es conveniente, pero afectará a todos los personajes que utilicen el Animation Blueprint predeterminado.

Crear duplicado

1. Duplica Face_AnimBP y asígnale un nombre descriptivo
2. Localiza la clase Blueprint de tu personaje (por ejemplo, para el personaje "Bryan", estará en Content/MetaHumans/Bryan/BP_Bryan)
3. Abre el Blueprint del personaje y busca el componente Face
4. Cambia la propiedad Anim Class por tu Animation Blueprint recién duplicado

Nota: Este enfoque te permite personalizar la sincronización de labios para personajes específicos, dejando a los demás sin cambios.

Usar Animation Blueprint personalizado

Puedes implementar la mezcla de sincronización labial en cualquier Animation Blueprint que tenga acceso a los huesos faciales necesarios.

1. Crear o usar un Animation Blueprint personalizado existente
2. Asegúrate de que tu Animation Blueprint funcione con un esqueleto que contenga los mismos huesos faciales que el Face_Archetype_Skeleton del MetaHuman predeterminado

Nota: Este enfoque te brinda la máxima flexibilidad para la integración con sistemas de animación personalizados.

Personajes de MetaHuman Creator para UE 5.6+

A partir de UE 5.6, se introdujo el nuevo sistema MetaHuman Creator. Para estos personajes, el plugin proporciona un Animation Blueprint facial ubicado en:

Content/LipSyncData/LipSync_Face_AnimBP

Importante

Este Animation Blueprint se encuentra en la carpeta de contenido del plugin y se sobrescribirá con cada actualización del plugin. Para evitar perder tus personalizaciones:

1. Copia este activo a la carpeta Content de tu proyecto (por ejemplo, a YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Usa tu versión copiada en la configuración de tu personaje
3. Realiza todas tus modificaciones en la versión copiada

Usando el Blueprint de Animación Facial del Plugin:

1. Localiza la clase Blueprint de tu personaje de MetaHuman Creator
2. Abre el Blueprint del personaje y encuentra el componente Face
3. Cambia la propiedad Anim Class a LipSync_Face_AnimBP del plugin
4. Continúa con los siguientes pasos para configurar la funcionalidad de Runtime MetaHuman Lip Sync

Paso 2: Configuración del Event Graph

Abre tu Blueprint de Animación Facial y cambia al Event Graph. Necesitarás crear un generador que procese datos de audio y genere animación de sincronización de labios.

Modelo Estándar

1. Agrega el nodo Event Blueprint Begin Play si aún no existe
2. Agrega el nodo Create Runtime Viseme Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (por ejemplo, "VisemeGenerator") para usarla en otras partes del grafo

Para opciones de configuración detalladas, consulta la sección Configuración del Modelo Estándar.

Modelo Realista

1. Agrega el nodo Event Blueprint Begin Play si aún no existe
2. Agrega el nodo Create Realistic MetaHuman Lip Sync Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (por ejemplo, "RealisticMetaHumanLipSyncGenerator") para usarla en otras partes del gráfico
4. (Opcional) Configura los ajustes del generador usando el parámetro Configuration

Para opciones de configuración detalladas, incluidos tipos de modelo, ajustes de rendimiento y parámetros de procesamiento, consulta la sección Configuración de Modelo Realista.

Modelo Realista con Estado de Ánimo

1. Agrega el nodo Event Blueprint Begin Play si aún no existe
2. Agrega el nodo Create Realistic MetaHuman Lip Sync With Mood Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (por ejemplo, "MoodMetaHumanLipSyncGenerator") para usarla en otras partes del gráfico
4. (Opcional) Configura los ajustes del generador usando el parámetro Configuration

Para una configuración detallada del estado de ánimo, incluyendo tipos de estado de ánimo, ajustes de intensidad, sincronización de anticipación y selección del tipo de salida, consulta la sección Configuración del Modelo con Control de Estado de Ánimo.

Paso 3: Configuración del Anim Graph

Después de configurar el Grafo de Eventos, cambia al Anim Graph para conectar el generador a la animación del personaje:

Modelo Estándar

1. Localiza la pose que contiene el rostro de MetaHuman (normalmente de Usar pose en caché 'Pose del cuerpo')
2. Agrega el nodo Combinar sincronización de labios Runtime MetaHuman
3. Conecta la pose a la Pose de origen del nodo Combinar sincronización de labios Runtime MetaHuman
4. Conecta tu variable Generador de visemas al pin Generador de visemas
5. Conecta la salida del nodo Combinar sincronización de labios Runtime MetaHuman al pin Resultado de la Pose de salida

Modelo Realista

1. Localiza la pose que contiene el rostro de MetaHuman (normalmente de Usar pose en caché 'Pose del cuerpo')
2. Agrega el nodo Combinar sincronización labial realista de MetaHuman
3. Conecta la pose a la Pose de origen del nodo Combinar sincronización labial realista de MetaHuman
4. Conecta tu variable RealisticMetaHumanLipSyncGenerator al pin Generador de sincronización labial
5. Conecta la salida del nodo Combinar sincronización labial realista de MetaHuman al pin Resultado de la Pose de salida

Modelo Realista con Estado de Ánimo

1. Localiza la pose que contiene el rostro de MetaHuman (normalmente de Usar pose en caché 'Pose del cuerpo')
2. Agrega el nodo Combinar sincronización de labios realista de MetaHuman (mismo nodo que el modelo realista estándar)
3. Conecta la pose a la Pose de origen del nodo Combinar sincronización de labios realista de MetaHuman
4. Conecta tu variable MoodMetaHumanLipSyncGenerator al pin Generador de sincronización de labios
5. Conecta la salida del nodo Combinar sincronización de labios realista de MetaHuman al pin Resultado de la Pose de salida

Nota: El modelo con capacidad de estado de ánimo utiliza el mismo nodo de Animation Blueprint que el modelo realista estándar. La funcionalidad de estado de ánimo se maneja internamente por el generador.

Próximos pasos

Ahora que tienes la configuración básica del Animation Blueprint completa, necesitarás configurar el procesamiento de entrada de audio para alimentar datos de audio a tu generador de sincronización de labios.

Continúa con la Guía de Procesamiento de Audio para aprender a configurar diferentes métodos de entrada de audio, incluyendo la captura por micrófono, la conversión de texto a voz y el procesamiento de archivos de audio.

Para opciones de configuración avanzada y ajuste fino, consulta la Guía de Configuración.