Guía de Configuración

Esta guía te lleva a través del proceso de configuración básica para Runtime MetaHuman Lip Sync con tus personajes MetaHuman.

Nota: Runtime MetaHuman Lip Sync funciona tanto con MetaHuman como con personajes personalizados. Para instrucciones detalladas sobre cómo configurar personajes personalizados, consulta la Guía de Configuración de Personajes Personalizados.

Prerrequisitos

Antes de comenzar, asegúrate de:

1. El plugin MetaHuman está habilitado en tu proyecto (Nota: A partir de UE 5.6, este paso ya no es necesario ya que la funcionalidad MetaHuman está integrada directamente en el motor)
2. Tienes al menos un personaje MetaHuman descargado y disponible en tu proyecto
3. El plugin Runtime MetaHuman Lip Sync está instalado

Plugin de Extensión del Modelo Estándar

Si planeas usar el Modelo Estándar, necesitarás instalar el plugin de extensión:

1. Descarga el plugin Standard Lip Sync Extension desde Google Drive
2. Extrae la carpeta del archivo descargado en la carpeta Plugins de tu proyecto (crea esta carpeta si no existe)
3. Asegúrate de que tu proyecto esté configurado como un proyecto C++ (incluso si no tienes ningún código C++)
4. Recompila tu proyecto

nota

• Esta extensión es solo necesaria si quieres usar el Modelo Estándar. Si solo necesitas los Modelos Realistas, puedes omitir este paso.
• Para más información sobre cómo construir plugins manualmente, consulta el tutorial Construyendo Plugins

Plugins Adicionales

• Si planeas usar captura de audio (por ejemplo, entrada de micrófono), instala el plugin Runtime Audio Importer.
• Si planeas usar la funcionalidad de texto a voz:
  • Para TTS local (solo Modelo Estándar), instala el plugin Runtime Text To Speech.
  • Para proveedores de TTS externos (ElevenLabs, OpenAI), instala el plugin Runtime AI Chatbot Integrator.

Configuración del Animation Blueprint

Paso 1: Localiza y modifica el Blueprint de animación facial

UE 5.5 y Anteriores (o MetaHumans Legacy en UE 5.6+)

Necesitas modificar un Animation Blueprint que se usará para las animaciones faciales de tu personaje MetaHuman. El Animation Blueprint facial predeterminado de MetaHuman se encuentra en:

Content/MetaHumans/Common/Face/Face_AnimBP

Tienes varias opciones para implementar la funcionalidad de lip sync:

Editar Asset Predeterminado (Opción Más Simple)

Abre directamente Face_AnimBP predeterminado y realiza tus modificaciones. Cualquier cambio afectará a todos los personajes MetaHuman que utilicen este Animation Blueprint.

Nota: Este enfoque es conveniente pero afectará a todos los personajes que utilicen el Animation Blueprint predeterminado.

Crear Duplicado

1. Duplica Face_AnimBP y dale un nombre descriptivo
2. Localiza la clase Blueprint de tu personaje (por ejemplo, para el personaje "Bryan", estaría en Content/MetaHumans/Bryan/BP_Bryan)
3. Abre el Blueprint del personaje y encuentra el componente Face
4. Cambia la propiedad Anim Class a tu Animation Blueprint recién duplicado

Nota: Este enfoque te permite personalizar el lip sync para personajes específicos mientras deja a otros sin cambios.

Usar Animation Blueprint Personalizado

Puedes implementar la mezcla de lip sync en cualquier Animation Blueprint que tenga acceso a los huesos faciales requeridos:

1. Crea o utiliza un Animation Blueprint personalizado existente
2. Asegúrate de que tu Animation Blueprint funcione con un esqueleto que contenga los mismos huesos faciales que el Face_Archetype_Skeleton predeterminado de MetaHuman

Nota: Este enfoque te brinda la máxima flexibilidad para la integración con sistemas de animación personalizados.

Personajes de MetaHuman Creator UE 5.6+

A partir de UE 5.6, se introdujo el nuevo sistema MetaHuman Creator. Para estos personajes, el plugin proporciona un Animation Blueprint facial ubicado en:

Content/LipSyncData/LipSync_Face_AnimBP

Importante

Este Animation Blueprint se encuentra en la carpeta de contenido del plugin y se sobrescribirá con cada actualización del plugin. Para evitar perder tus personalizaciones:

1. Copia este activo a la carpeta Content de tu proyecto (por ejemplo, a YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Usa tu versión copiada en la configuración de tu personaje
3. Realiza todas tus modificaciones en la versión copiada

Usando el Face Animation Blueprint del Plugin:

1. Localiza la clase Blueprint de tu personaje de MetaHuman Creator
2. Abre el Blueprint del personaje y encuentra el componente Face
3. Cambia la propiedad Anim Class al LipSync_Face_AnimBP del plugin
4. Continúa con los siguientes pasos para configurar la funcionalidad Runtime MetaHuman Lip Sync

Paso 2: Configuración del Event Graph

Abre tu Face Animation Blueprint y cambia al Event Graph. Necesitarás crear un generador que procesará los datos de audio y generará la animación de lip sync.

Standard Model

1. Añade el nodo Event Blueprint Begin Play si no existe ya
2. Añade el nodo Create Runtime Viseme Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (por ejemplo, "VisemeGenerator") para usar en otras partes del gráfico

Para opciones de configuración detalladas, consulta la sección Configuración del Standard Model.

Realistic Model

1. Añade el nodo Event Blueprint Begin Play si no existe ya
2. Añade el nodo Create Realistic MetaHuman Lip Sync Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (por ejemplo, "RealisticMetaHumanLipSyncGenerator") para usar en otras partes del gráfico
4. (Opcional) Configura los ajustes del generador usando el parámetro Configuration

Para opciones de configuración detalladas incluyendo tipos de modelo, ajustes de rendimiento y parámetros de procesamiento, consulta la sección Configuración del Realistic Model.

Mood-Enabled Realistic Model

1. Añade el nodo Event Blueprint Begin Play si no existe ya
2. Añade el nodo Create Realistic MetaHuman Lip Sync With Mood Generator y conéctalo al evento Begin Play
3. Guarda la salida como una variable (por ejemplo, "MoodMetaHumanLipSyncGenerator") para usar en otras partes del gráfico
4. (Opcional) Configura los ajustes del generador usando el parámetro Configuration

Para configuración detallada del estado de ánimo incluyendo tipos de estado de ánimo, configuraciones de intensidad, temporización de anticipación y selección de tipo de salida, consulta la sección Configuración del Modelo Habilitado para Estados de Ánimo.

Paso 3: Configuración del Anim Graph

Después de configurar el Event Graph, cambia al Anim Graph para conectar el generador a la animación del personaje:

Modelo Estándar

1. Localiza la pose que contiene la cara del MetaHuman (normalmente desde Use cached pose 'Body Pose')
2. Añade el nodo Blend Runtime MetaHuman Lip Sync
3. Conecta la pose al Source Pose del nodo Blend Runtime MetaHuman Lip Sync
4. Conecta tu variable VisemeGenerator al pin Viseme Generator
5. Conecta la salida del nodo Blend Runtime MetaHuman Lip Sync al pin Result del Output Pose

Modelo Realista

1. Localiza la pose que contiene la cara del MetaHuman (normalmente desde Use cached pose 'Body Pose')
2. Añade el nodo Blend Realistic MetaHuman Lip Sync
3. Conecta la pose al Source Pose del nodo Blend Realistic MetaHuman Lip Sync
4. Conecta tu variable RealisticMetaHumanLipSyncGenerator al pin Lip Sync Generator
5. Conecta la salida del nodo Blend Realistic MetaHuman Lip Sync al pin Result del Output Pose

Modelo Realista Habilitado para Estados de Ánimo

1. Localiza la pose que contiene la cara del MetaHuman (normalmente desde Use cached pose 'Body Pose')
2. Añade el nodo Blend Realistic MetaHuman Lip Sync (el mismo nodo que el modelo realista regular)
3. Conecta la pose al Source Pose del nodo Blend Realistic MetaHuman Lip Sync
4. Conecta tu variable MoodMetaHumanLipSyncGenerator al pin Lip Sync Generator
5. Conecta la salida del nodo Blend Realistic MetaHuman Lip Sync al pin Result del Output Pose

Nota: El modelo habilitado para estados de ánimo utiliza el mismo nodo de Animation Blueprint que el modelo realista regular. La funcionalidad de estado de ánimo se maneja internamente por el generador.

Próximos Pasos

Ahora que has completado la configuración básica del Animation Blueprint, necesitarás configurar el procesamiento de entrada de audio para alimentar datos de audio a tu generador de lip sync.

Continúa con la Guía de Procesamiento de Audio para aprender cómo configurar diferentes métodos de entrada de audio, incluyendo captura de micrófono, texto a voz y procesamiento de archivos de audio. Para opciones de configuración avanzada y ajustes finos, consulta la Guía de Configuración.