Configuración del Plugin

Configuración del modelo

Recrea generadores de modelos realistas para cada reproducción.

Para un funcionamiento fiable con los modelos Realistic y Realistic con control de estado de ánimo, recrea el generador antes de cada nueva reproducción de audio en lugar de reutilizarlo durante silencios prolongados. Consulta Recreación del generador en Solución de problemas para más detalles.

Configuración del modelo estándar

El nodo Create Runtime Viseme Generator utiliza configuraciones predeterminadas que funcionan bien en la mayoría de los escenarios. La configuración se gestiona a través de las propiedades del nodo de mezcla del Animation Blueprint.

Para las opciones de configuración de Animation Blueprint, consulta la sección Configuración de Lip Sync a continuación.

Configuración del modelo realista

El nodo Create Realistic MetaHuman Lip Sync Generator acepta un parámetro opcional de Configuración que le permite personalizar el comportamiento del generador:

Tipo de modelo

El ajuste de Tipo de Modelo determina qué versión del modelo realista se debe usar:

Tipo de modelo	Rendimiento	Calidad visual	Manejo del ruido	Casos de uso recomendados
Altamente optimizado (predeterminado)	Máximo rendimiento, menor uso de CPU	Buena calidad	Puede mostrar movimientos de boca notorios con ruido de fondo o sonidos que no son de voz	Entornos de audio limpios, escenarios donde el rendimiento es crítico
Semioptimizado	Buen rendimiento, uso moderado de CPU	Alta calidad	Mejor estabilidad con audio ruidoso	Rendimiento y calidad equilibrados, condiciones de audio mixtas
Original	Adecuado para uso en tiempo real en CPU modernas	Máxima calidad	Más estable con ruido de fondo y sonidos que no son de voz	Producciones de alta calidad, entornos de audio ruidosos, cuando se necesita la máxima precisión

Configuración de rendimiento

Intra Op Threads: Controla el número de hilos utilizados para las operaciones internas de procesamiento del modelo.

• 0 (Predeterminado/Automático): Utiliza la detección automática (normalmente 1/4 de los núcleos de CPU disponibles, máximo 4)
• 1-16: Especifica manualmente el número de hilos. Los valores más altos pueden mejorar el rendimiento en sistemas multinúcleo, pero usan más CPU.

Subprocesos de Inter Op: Controla el número de subprocesos utilizados para la ejecución paralela de diferentes operaciones del modelo.

• 0 (Predeterminado/Automático): Utiliza detección automática (normalmente 1/8 de los núcleos de CPU disponibles, máximo 2)
• 1-8: Especifica manualmente el número de hilos. Generalmente se mantiene bajo para procesamiento en tiempo real

Tamaño del Fragmento de Procesamiento

El Tamaño del Fragmento de Procesamiento determina cuántas muestras se procesan en cada paso de inferencia. El valor predeterminado es 160 muestras (10 ms de audio a 16 kHz):

• Los valores más pequeños proporcionan actualizaciones más frecuentes, pero aumentan el uso de la CPU
• Los valores más grandes reducen la carga de la CPU, pero pueden disminuir la capacidad de respuesta de la sincronización de labios
• Se recomienda usar múltiplos de 160 para una alineación óptima

Configuración del modelo con soporte de estados de ánimo

El nodo Create Realistic MetaHuman Lip Sync With Mood Generator proporciona opciones de configuración adicionales más allá del modelo realista básico:

Configuración básica

Lookahead Ms: Tiempo de anticipación en milisegundos para mejorar la precisión de la sincronización de labios.

• Predeterminado: 80 ms
• Rango: de 20 ms a 200 ms (debe ser divisible por 20)
• Los valores más altos proporcionan una mejor sincronización, pero aumentan la latencia.

Tipo de salida: Controla qué controles faciales se generan.

• Rostro Completo: Los 81 controles faciales (cejas, ojos, nariz, boca, mandíbula, lengua)
• Solo Boca: Solo controles relacionados con la boca, la mandíbula y la lengua

Configuración de rendimiento: Utiliza los mismos ajustes de Intra Op Threads e Inter Op Threads que el modelo realista estándar.

Ajustes de estado de ánimo

Modos disponibles:

• Neutral, Feliz, Triste, Disgusto, Enojo, Sorpresa, Miedo
• Seguro, Emocionado, Aburrido, Juguetón, Confundido

Intensidad del estado de ánimo: Controla cuán fuertemente afecta el estado de ánimo a la animación (0.0 a 1.0)

Control de estado de ánimo en tiempo real

Puedes ajustar la configuración de estado de ánimo durante el tiempo de ejecución usando las siguientes funciones:

• Establecer Estado de Ánimo: Cambiar el tipo de estado de ánimo actual
• Establecer Intensidad del Estado de Ánimo: Ajustar cuán fuertemente afecta el estado de ánimo a la animación (0.0 a 1.0)
• Establecer Lookahead Ms: Modificar el tiempo de lookahead para la sincronización
• Establecer Tipo de Salida: Cambiar entre controles de Cara Completa y Solo Boca

Guía de selección de estados de ánimo

Elige los estados de ánimo apropiados según tu contenido:

Mood	Mejor para	Rango de intensidad típico
Neutral	Conversación general, narración, estado predeterminado	0.5 - 1.0
Feliz	Contenido positivo, diálogo alegre, celebraciones	0.6 - 1.0
Triste	Contenido melancólico, escenas emocionales, momentos sombríos	0.5 - 0.9
Disgusto	Reacciones negativas, contenido desagradable, rechazo	0.4 - 0.8
Enojo	Diálogo agresivo, escenas de confrontación, frustración	0.6 - 1.0
Sorpresa	Eventos inesperados, revelaciones, reacciones de shock	0.7 - 1.0
Miedo	Situaciones amenazantes, ansiedad, diálogo nervioso	0.5 - 0.9
Confiado	Presentaciones profesionales, diálogo de liderazgo, discurso asertivo	0.7 - 1.0
Emocionado	Contenido enérgico, anuncios, diálogo entusiasta	0.8 - 1.0
Aburrido	Contenido monótono, diálogo desinteresado, discurso cansado	0.3 - 0.7
Juguetón	Conversación casual, humor, interacciones ligeras	0.6 - 0.9
Confundido	Diálogo cargado de preguntas, incertidumbre, desconcierto	0.4 - 0.8

Configuración del Animation Blueprint

Configuración de Lip Sync

Modelo estándar

El nodo Blend Runtime MetaHuman Lip Sync tiene opciones de configuración en su panel de propiedades:

Propiedad	Predeterminado	Descripción
Velocidad de interpolación	25	Controla la rapidez con la que los movimientos de los labios transicionan entre visemas. Los valores más altos resultan en transiciones más rápidas y abruptas.
Tiempo de reinicio	0.2	La duración en segundos después de la cual se reinicia la sincronización de labios. Esto es útil para evitar que la sincronización de labios continúe después de que el audio se haya detenido.

Animación de risa

También puedes añadir animaciones de risa que respondan dinámicamente a la risa detectada en el audio.

1. Añade el nodo Blend Runtime MetaHuman Laughter
2. Conecta tu variable RuntimeVisemeGenerator al pin Viseme Generator
3. Si ya estás usando sincronización de labios:
   • Conecta la salida del nodo Blend Runtime MetaHuman Lip Sync a la Source Pose del nodo Blend Runtime MetaHuman Laughter
   • Conecta la salida del nodo Blend Runtime MetaHuman Laughter al pin Result de la Output Pose
4. Si se usa solo la risa sin sincronización de labios:
   • Conecta tu pose de origen directamente al Source Pose del nodo Blend Runtime MetaHuman Laughter
   • Conecta la salida al pin Result

Cuando se detecta risa en el audio, tu personaje se animará dinámicamente en consecuencia:

Configuración de la risa

El nodo Blend Runtime MetaHuman Laughter tiene sus propias opciones de configuración:

Propiedad	Predeterminado	Descripción
Velocidad de interpolación	25	Controla la rapidez con la que los movimientos de los labios transicionan entre las animaciones de risa. Los valores más altos producen transiciones más rápidas y abruptas.
Tiempo de reinicio	0.2	La duración en segundos tras la cual se reinicia la risa. Esto es útil para evitar que la risa continúe después de que el audio se haya detenido.
Peso máximo de la risa	0.7	Escala la intensidad máxima de la animación de risa (0.0 - 1.0).

Nota: La detección de risas está disponible actualmente solo con el Modelo Estándar.

Modelos realistas

El nodo Blend Realistic MetaHuman Lip Sync tiene opciones de configuración en su panel de propiedades:

Propiedad	Predeterminado	Descripción
Velocidad de interpolación	30	Controla la rapidez con la que las expresiones faciales realizan la transición durante el habla activa. Los valores más altos producen transiciones más rápidas y abruptas.
Velocidad de interpolación en reposo	15	Controla la rapidez con la que las expresiones faciales vuelven al estado de reposo/neutral. Los valores más bajos crean retornos más suaves y graduales a la pose de descanso.
Tiempo de reinicio	0.2	Duración en segundos tras la cual la sincronización de labios se reinicia al estado de reposo. Útil para evitar que las expresiones continúen después de que el audio se detenga.
Conservar estado de reposo	false	Cuando está habilitado, conserva el último estado emocional durante los períodos de reposo en lugar de reiniciarlo a neutral.
Conservar expresiones oculares	true	Controla si los controles faciales relacionados con los ojos se conservan durante el estado de reposo. Solo es efectivo cuando Conservar estado de reposo está habilitado.
Conservar expresiones de cejas	true	Controla si los controles faciales relacionados con las cejas se conservan durante el estado de reposo. Solo es efectivo cuando Conservar estado de reposo está habilitado.
Conservar forma de la boca	false	Controla si los controles de la forma de la boca (excluyendo movimientos específicos del habla como lengua y mandíbula) se conservan durante el estado de reposo. Solo es efectivo cuando Conservar estado de reposo está habilitado.

Preservación del estado inactivo

La función Preserve Idle State aborda cómo el modelo Realistic maneja los períodos de silencio. A diferencia del modelo Standard, que utiliza visemas discretos y vuelve consistentemente a valores cero durante el silencio, la red neuronal del modelo Realistic puede mantener una sutil posición facial que difiere de la pose de reposo predeterminada del MetaHuman.

Cuándo habilitarlo:

• Mantener las expresiones emocionales entre segmentos de habla
• Preservar los rasgos de personalidad del personaje
• Garantizar la continuidad visual en secuencias cinematográficas

Opciones de Control Regional:

• Expresiones Oculares: Conserva el entrecerrado de ojos, la apertura y la posición de los párpados
• Expresiones de Cejas: Mantiene la posición de las cejas y la frente
• Forma de la Boca: Mantiene la curvatura general de la boca mientras permite que los movimientos del habla (lengua, mandíbula) se restablezcan

Combinando con animaciones existentes

Video explicativo

¿Prefieres ver en lugar de leer? Consulta el tutorial en video que cubre esta configuración exacta.

Para aplicar sincronización de labios y risa junto con animaciones corporales existentes y animaciones faciales personalizadas sin sobrescribirlas:

Animaciones corporales

Esta configuración se aplica al Animation Blueprint de la cara, ya que la sincronización de labios no forma parte del Animation Blueprint del cuerpo. Para animaciones corporales personalizadas (p. ej., torso, brazos y otros movimientos del cuerpo), simplemente conecta tu secuencia de animación (a través de un Sequence Player) directamente a la pose de salida en el Animation Blueprint del cuerpo. No se necesita configuración adicional allí.

1. Añade un nodo Layered blend per bone entre tus animaciones corporales y la salida final. Asegúrate de que Use Attached Parent esté activado.
2. Configura la disposición de capas:
   • Añade 1 elemento al array Layer Setup
   • Añade 3 elementos a los Branch Filters de la capa, con los siguientes Bone Names:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Importante para animaciones faciales personalizadas: En la Curve Blend Option, selecciona "Use Max Value". Esto permite que las animaciones faciales personalizadas (expresiones, emociones, etc.) se superpongan correctamente sobre la sincronización de labios.
4. Haz las conexiones:
   • Tu animación personalizada (normalmente un Sequence Player con el activo de secuencia de animación deseado) → entrada Base Pose
   • Salida de animación facial (de nodos de sincronización de labios y/o risa) → entrada Blend Poses 0
   • Nodo de fusión por capas → pose Result final

Conjunto de selección de objetivos de morph

Modelo estándar

El Modelo Estándar utiliza pose assets que admiten inherentemente cualquier convención de nombres de morph targets mediante la configuración de pose assets personalizada. No se necesita configuración adicional.

Modelos realistas

El nodo Blend Realistic MetaHuman Lip Sync incluye una propiedad de Conjunto de Morph Targets que determina qué convención de nomenclatura de morph targets se utiliza para la animación facial:

Conjunto de Morph Targets	Descripción	Casos de uso
MetaHuman (Predeterminado)	Nombres estándar de morph targets de MetaHuman (p. ej., CTRL_expressions_jawOpen)	Personajes MetaHuman
ARKit	Nombres compatibles con Apple ARKit (p. ej., JawOpen, MouthSmileLeft)	Personajes basados en ARKit

Convirtiendo personajes a blendshapes de ARKit o MetaHuman

Si tu personaje no utiliza de forma nativa los nombres de blendshapes estándar de ARKit, varios sistemas comerciales populares de personajes pueden convertirse para generarlos (o, en el caso de CC5, convertirse directamente a blendshapes nativos de MetaHuman). Esto te da acceso al Conjunto de Morph Targets de ARKit o MetaHuman mencionado anteriormente, en lugar del proceso de mapeo manual de visemas requerido para el Modelo Estándar.

Guías de conversión para Reallusion CC4/CC5 y Daz Genesis 8.1/9 (haz clic para expandir)

Reallusion CC4/CC5

Los personajes CC4 y CC5 se manejan de manera diferente aquí, ya que los personajes CC5 pueden compartir el rig facial nativo de MetaHuman en lugar de necesitar una conversión ARKit en absoluto.

CC5: convertir a blendshapes de MetaHuman (recomendado)

Si tu personaje está construido en CC5 con el perfil facial HD, ya comparte los controles faciales y el esqueleto de MetaHuman, por lo que no es necesario generar blendshapes de ARKit manualmente. En su lugar:

1. Instala el plugin gratuito Auto Setup (Todo en uno) de Reallusion para Unreal Engine, siguiendo la guía de instalación.
2. Exporta tu personaje desde CC5 como FBX. Elige el preset de destino Unreal (UE5 Skeleton) y la pose de enlace A-Pose para UE5 Skeleton, para que coincida con el rig de MetaHuman.
3. Arrastra el FBX a tu proyecto de UE. Con Auto Setup instalado, el diálogo de importación que se muestra arriba aparece automáticamente.
4. En las opciones de importación, selecciona el Shader HQ. Deja Usar T0 como pose de referencia sin marcar (esto también acelera significativamente la importación), y deja Incluir Control Rig sin marcar a menos que necesites específicamente el Control Rig de MetaHuman, ya que añade tiempo extra de importación.
5. Haz clic en Aceptar para importar.

Una vez importado, selecciona la opción MetaHuman Conjunto de Objetivos de Morfología en lugar de ARKit, ya que los blendshapes del personaje ya utilizan la nomenclatura nativa de MetaHuman.

CC4 (o CC5 sin el perfil HD): convertir a blendshapes de ARKit

Si estás en CC4, o en un personaje CC5 que no usa el perfil facial HD, usa la conversión manual de ARKit en su lugar. Antes de comenzar, asegúrate de que el Perfil Facial de tu personaje esté configurado en CC4 Extended (no en Standard, Extended-Plus, ni en el perfil facial HD más reciente). El mapeo de blendshapes del script está codificado de forma fija según los nombres de los sliders de Extended; otros perfiles usan convenciones de nomenclatura diferentes y el script omitirá silenciosamente o no encontrará los sliders esperados.

1. Descarga este script: rl_export_arkit_objs.py

2. Abre el script en un editor de texto y, donde dice output_dir = "path/to/your/target/folder", asigna la ruta a tu carpeta de exportación. Asegúrate de usar barras diagonales /.

3. En Character Creator, elige tu personaje y luego, en el menú superior bajo Script, selecciona Load Python. Después, selecciona el script que acabas de editar. El script ahora creará el conjunto completo de blendshapes de ARKit a partir de los controles deslizantes predeterminados de Reallusion y los exportará como archivos OBJ. Esto puede tardar unos minutos.

   

4. Ahora puedes importar esas formas yendo a la ventana Facial Profile Editor. Haz clic en el botón Edit Expressions y, en el menú desplegable Batch Import, selecciona OBJ.

   

5. Aquí puedes importar la carpeta que referenciaste anteriormente. Esto listará todas las formas de ARKit. Escribe un nombre en la Categoría de Destino, p. ej. AR_Kit, y haz clic en Aceptar.

   

6. Esto habrá creado una nueva categoría bajo Expression. Puedes desactivar todas las demás categorías.

   

Una vez que la categoría ARKit esté configurada, exporta tu personaje como FBX como de costumbre. Esto le da al personaje los 52 blendshapes estándar de ARKit, que luego puedes usar con la opción ARKit Conjunto de Morph Targets mencionada anteriormente.

Nota: el movimiento de la mandíbula está impulsado en parte por la rotación de huesos en lugar de blendshapes puros en el rig de CC4, por lo que jawOpen puede verse débil o no abrir la boca de manera convincente después de la exportación. Si esto ocurre, habilita Mouth Open as Morph en las opciones de exportación de FBX; esto hornea el movimiento impulsado por huesos de la mandíbula en un blendshape dedicado que puede asignarse como fuente para jawOpen en lugar del predeterminado. O bien, el complemento cc_blender_tools puede enrutar el personaje a través de Blender para solucionar este y otros problemas de formas; consulta la sección "Blender Round Trip" de su documentación para conocer el flujo de trabajo (el título de la página menciona Unity, pero esta sección específica es independiente del motor).

Daz Genesis 8/8.1/9

Los morphs FACS de Daz, disponibles de forma nativa en Genesis 8.1 y Genesis 9, ya son compatibles con ARKit sin necesidad de renombrarlos. El Genesis 8 estándar (no el 8.1) no los incluye por defecto. Tendrás que usar Genesis 8.1 en su lugar, o añadir un paquete de morphs FACS por separado.

El complemento Diffeomorphic, mantenido activamente (un puente entre Daz Studio y Blender, no afiliado a Daz 3D), es la forma recomendada de traerlos a Unreal:

1. En Blender, usa la herramienta Easy Import DAZ de Diffeomorphic con el ajuste preestablecido de generación correcto (G8.1 o G9) y la opción de importación FACS habilitada. Consulta la guía de Easy Import DAZ.
2. Esto importa los morphs FACS como shape keys de Blender. Exporta el personaje como FBX desde Blender, y los nombres de los shape keys se transfieren como nombres de morph targets.

Una vez exportado, usa la opción ARKit Conjunto de Objetivos de Morfología de arriba.

Nota: las formas de dirección de la mirada en las pestañas y los globos oculares pueden no transferirse por completo, ya que se controlan de manera diferente al mesh principal de la cara, pero esto no afecta la sincronización de labios, que solo necesita las formas de la boca y la mandíbula.

Ajuste Fino del Comportamiento de Lip Sync

Escalando curvas específicas de sincronización de labios

Puedes atenuar (o amplificar) movimientos faciales individuales producidos por la sincronización de labios usando un nodo Modify Curve. Esto es útil cuando una curva en particular se ve demasiado pronunciada para tu contenido de audio o personaje.

Configuración:

1. Después de tu nodo de fusión de sincronización de labios, añade un nodo Modify Curve
2. Haz clic derecho en el nodo y selecciona Add Curve Pin, luego introduce el nombre de la curva que deseas escalar
3. Establece la propiedad Apply Mode del nodo en Scale
4. Establece el parámetro Value: los valores por debajo de 1.0 amortiguan el movimiento, los valores por encima de 1.0 lo amplifican (por ejemplo, 0.8 = reducción del 20%)

Curvas comúnmente escaladas:

Nombre de la curva	Propósito	Se aplica a	Ajuste típico
CTRL_expressions_tongueOut	Protrusión de la lengua hacia adelante durante ciertos fonemas	Modelo estándar	0.8 para reducir la protrusión
CTRL_expressions_jawOpen	Rango de apertura de la mandíbula	Modelos realistas	0.9 para reducir el movimiento de la mandíbula

Puedes añadir múltiples pines de curva al mismo nodo Modify Curve para escalar varias curvas a la vez.

Ajuste fino específico por estado de ánimo

Para los modelos con soporte de estados de ánimo, puedes ajustar expresiones emocionales específicas:

Control de cejas:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - Elevación interna de cejas
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - Elevación externa de cejas
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - Descenso de cejas

Control de Expresión Ocular:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - Entrecerrar los ojos
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - Elevación de las mejillas

Comparación y selección de modelos

Eligiendo entre modelos

Al decidir qué modelo de lip sync usar para tu proyecto, considera estos factores:

Consideración	Modelo Estándar	Modelo Realista	Modelo Realista con Estados de Ánimo
Compatibilidad de Personajes	MetaHumans y todos los tipos de personajes personalizados	MetaHumans (y personajes de ARKit)	MetaHumans (y personajes de ARKit)
Calidad Visual	Buena sincronización de labios con rendimiento eficiente	Realismo mejorado con movimientos bucales más naturales	Realismo mejorado con expresiones emocionales
Rendimiento	Optimizado para todas las plataformas, incluidas móvil/VR	Mayores requisitos de recursos	Mayores requisitos de recursos
Características	14 visemas, detección de risa	81 controles faciales, 3 niveles de optimización	81 controles faciales, 12 estados de ánimo, salida configurable
Soporte de Plataformas	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
Casos de Uso	Aplicaciones generales, juegos, VR/AR, móvil	Experiencias cinematográficas, interacciones en primer plano	Narrativa emocional, interacción avanzada con personajes

Compatibilidad de Versiones del Motor

Problema de compatibilidad con UE 5.2

Si estás usando Unreal Engine 5.2, los Modelos Realistas pueden no funcionar correctamente debido a un error en la biblioteca de remuestreo de UE. Para los usuarios de UE 5.2 que necesiten una funcionalidad de sincronización de labios confiable, usa el Modelo Estándar en su lugar.

Este problema es específico de UE 5.2 y no afecta a otras versiones del motor.

Recomendaciones de rendimiento

• Para la mayoría de los proyectos, el Modelo Estándar ofrece un excelente equilibrio entre calidad y rendimiento
• Utilice el Modelo Realista cuando necesite la máxima fidelidad visual para personajes MetaHuman
• Utilice el Modelo Realista con Control de Expresiones cuando el control de la expresión emocional sea importante para su aplicación
• Considere las capacidades de rendimiento de su plataforma objetivo al elegir entre los modelos
• Pruebe diferentes niveles de optimización para encontrar el mejor equilibrio para su caso de uso específico

Solución de problemas

Problemas comunes

Recreación del generador para modelos realistas: Para un funcionamiento fiable y consistente con los modelos realistas, se recomienda recrear el generador cada vez que desees introducir nuevos datos de audio después de un período de inactividad. Esto se debe al comportamiento del runtime de ONNX, que puede provocar que la sincronización de labios deje de funcionar al reutilizar generadores después de períodos de silencio.

Por ejemplo, podrías recrear el generador de sincronización de labios en cada inicio de reproducción, como cada vez que llames a Play Sound 2D o uses cualquier otro método para iniciar la reproducción de la onda de sonido y la sincronización de labios:

Ubicación del Plugin para la Integración de Runtime Text To Speech: Al usar Runtime MetaHuman Lip Sync junto con Runtime Text To Speech (ambos plugins usan ONNX Runtime), es posible que experimentes problemas si los plugins están instalados en la carpeta Marketplace del motor. Para solucionar esto:

1. Localiza ambos plugins en tu carpeta de instalación de UE en \Engine\Plugins\Marketplace (por ejemplo, C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)
2. Mueve las carpetas RuntimeMetaHumanLipSync y RuntimeTextToSpeech a la carpeta Plugins de tu proyecto
3. Si tu proyecto no tiene una carpeta Plugins, créala en el mismo directorio que tu archivo .uproject
4. Reinicia el Unreal Editor

Esto aborda problemas de compatibilidad que pueden ocurrir cuando múltiples plugins basados en ONNX Runtime se cargan desde el directorio de Marketplace del motor.

Configuración de empaquetado (Windows): Si la sincronización de labios no funciona correctamente en tu proyecto empaquetado en Windows, asegúrate de usar la configuración de compilación Shipping en lugar de Development. La configuración Development puede causar problemas con el runtime ONNX de los modelos realistas en compilaciones empaquetadas.

Para arreglar esto:

1. En tu Configuración del Proyecto → Empaquetado, establece la Configuración de Compilación en Shipping
2. Reempaqueta tu proyecto

Proyectos Solo Blueprint

En algunos proyectos de solo Blueprints, Unreal Engine puede seguir compilando en configuración Development incluso cuando se selecciona Shipping. Si esto ocurre, convierta su proyecto a un proyecto C++ agregando al menos una clase C++ (puede estar vacía). Para hacerlo, vaya a Tools → New C++ Class en el menú del editor de UE y cree una clase vacía. Esto forzará que el proyecto se compile correctamente en configuración Shipping. Su proyecto puede seguir siendo solo de Blueprints en funcionalidad; la clase C++ solo es necesaria para una configuración de compilación adecuada.

Capacidad de respuesta degradada del sincronizado de labios: Si experimentas que el sincronizado de labios se vuelve menos receptivo con el tiempo al usar Streaming Sound Wave o Capturable Sound Wave, esto puede deberse a la acumulación de memoria. De forma predeterminada, la memoria se reasigna cada vez que se agrega nuevo audio. Para evitar este problema, llama periódicamente a la función ReleaseMemory para liberar la memoria acumulada, por ejemplo, cada 30 segundos aproximadamente.

Optimización del Rendimiento:

• Ajusta el tamaño del fragmento de procesamiento para modelos Realistic según tus requisitos de rendimiento
• Usa recuentos de hilos apropiados para tu hardware objetivo
• Considera usar el tipo de salida Mouth Only para modelos con control de estado de ánimo cuando no se necesita animación facial completa