Saltar al contenido principal

Proyectos de demostración

Para ayudarte a comenzar rápidamente con Runtime MetaHuman Lip Sync, hay dos proyectos de demostración listos para usar. Ambos están creados con Unreal Engine 5.6+, son solo Blueprint y funcionan en múltiples plataformas: Windows, Mac, Linux, iOS, Android y plataformas basadas en Android (incluyendo Meta Quest).

Proyectos de demostración disponibles​

Un flujo de trabajo completo de avatar conversacional con IA que combina reconocimiento de voz, un chatbot de IA (LLM), texto a voz y reproducción de audio con sincronización de labios en tiempo real, todo funcionando junto en un solo proyecto. Adecuado para una amplia gama de casos de uso, incluyendo juegos, quioscos interactivos, producción virtual, instalaciones en museos, asistentes digitales y simulaciones de entrenamiento.

Resumen del Pipeline​

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

Videos​

Vista previa rápida (~30 segundos)​

Una breve demostración del demo en acción.

Guía completa​

Un recorrido detallado que cubre la configuración, los ajustes y el flujo de trabajo conversacional completo.

Descargas​

Plugins Requeridos y Opcionales​

El proyecto de demostración es modular; solo necesitas los complementos para los proveedores que quieras usar.

ComplementoPropósito¿Requerido?
Runtime MetaHuman Lip Syncanimación de sincronización de labiosSiempre
Runtime Audio ImporterCaptura y procesamiento de audioSiempre
Runtime Speech RecognizerReconocimiento de voz sin conexión (whisper.cpp)Siempre
Runtime AI Chatbot IntegratorLLMs externos (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) y/o TTS externo (OpenAI, ElevenLabs)🔶 Opcional
Runtime Local LLMInferencia de LLM local mediante llama.cpp (modelos GGUF como Llama, Mistral, Gemma, etc.)🔶 Opcional
Runtime Text To SpeechTTS local mediante Piper y Kokoro🔶 Opcional
Complementos opcionales: requisitos del proveedor

Si bien cada complemento anterior es opcional de forma individual, necesitas al menos un proveedor de LLM y al menos un proveedor de TTS para que la demostración funcione. Combínalos libremente (por ejemplo, LLM local + TTS de ElevenLabs, o LLM de OpenAI + TTS local).

Arquitectura Modular​

En la carpeta Contenido encontrarás una carpeta Módulos que contiene tres subcarpetas:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

Si no adquiriste uno (o más) de los complementos opcionales, simplemente elimina la(s) carpeta(s) correspondiente(s). Los activos base del proyecto de demostración (instancia de juego, widgets, etc.) no hacen referencia directa a estos módulos, por lo que eliminarlos no causará errores de referencia de activos. La interfaz de configuración ocultará automáticamente cualquier proveedor cuya carpeta falte.

nota

Esta modularidad aplica solo a los proveedores de LLM y TTS. Reconocimiento de Voz (Runtime Speech Recognizer) y Sincronización Labial (Runtime MetaHuman Lip Sync) son parte del proyecto de demostración base y siempre son requeridos.

Modules folder structure

aviso

En el primer inicio, Unreal puede preguntar si desea deshabilitar los complementos opcionales faltantes: haga clic en Sí. Asegúrese también de haber eliminado la carpeta Content/Modules/ correspondiente (consulte arriba).

Diseño del Proyecto de Demostración​

La interfaz de usuario es solo para fines de demostración.

La interfaz de usuario que se muestra a continuación está construida completamente con UMG (Unreal Motion Graphics) y está destinada puramente a demostrar el flujo de trabajo: reconocimiento de voz → LLM → TTS → sincronización de labios. Eres libre de rediseñarla o reemplazarla para que coincida con el diseño visual, el esquema de control o la plataforma de tu proyecto (VR/AR, móvil, consola, quiosco, etc.). Si ciertos widgets no son necesarios en tu caso de uso, también puedes simplemente ocultarlos (por ejemplo, estableciendo su visibilidad en Colapsado u Oculto).

Annotated overview of the demo project main screen

Area¿Qué hay allí?
CentrarEl personaje MetaHuman.
Lado izquierdoCuatro botones de configuración (Reconocimiento de Voz, Chatbot de IA, Texto a Voz, Animaciones), descritos en detalle a continuación.
Centro inferiorUn botón Iniciar grabación. Haz clic en él para comenzar una conversación por voz: se captura tu micrófono, se transcribe, se envía al LLM, la respuesta se sintetiza mediante TTS y se reproduce con sincronización de labios, completamente manos libres.
Centro derechoUn widget de historial de conversación que muestra el intercambio completo entre usted y la IA (mensajes tanto del usuario como del asistente). También incluye un campo de entrada de texto, para que pueda escribir mensajes directamente sin usar reconocimiento de voz, útil para pruebas, accesibilidad o cuando no hay un micrófono disponible.
tip

Puedes mezclar ambos modos de entrada libremente en la misma sesión: di algunos mensajes, escribe otros.

Botones de Configuración​

Los cuatro botones de configuración a la izquierda abren paneles dedicados para cada parte del flujo de trabajo:

1. Configurar el Reconocimiento de Voz​

Configura cómo se captura y transcribe la voz del usuario:

  • Seleccionar idioma
  • Ajustar parámetros de reconocimiento de voz (configuración del modelo Whisper)
  • Configurar AEC (Cancelación de Eco Acústico)
  • Configurar VAD (Detección de Actividad de Voz)

Speech recognition configuration screen

2. Configurar el Chatbot de IA​

Elige tu proveedor de LLM y configúralo:

  • Selecciona proveedor (Runtime AI Chatbot Integrator o Runtime Local LLM)
  • Para proveedores externos: token de autenticación, nombre del modelo, etc.
  • Para LLM local: selecciona un modelo GGUF, establece el tamaño de contexto y otros parámetros de inferencia. También puedes descargar tu propio modelo GGUF en tiempo de ejecución directamente desde el demo (por ejemplo, mediante URL) y usarlo de inmediato sin necesidad de reconstruir el proyecto.
tip

El cuadro combinado de proveedores solo muestra aquellos proveedores cuya carpeta de módulo del plugin está presente en Content/Modules/.

AI chatbot configuration - Runtime AI Chatbot Integrator (external LLM)

AI chatbot configuration - Runtime Local LLM (local GGUF)

3. Configurar Texto a Voz​

Elige tu proveedor de TTS y configura las voces/modelos:

  • Seleccione el proveedor (Runtime AI Chatbot Integrator para OpenAI/ElevenLabs, o Runtime Text To Speech para Piper/Kokoro local)
  • Seleccione la voz/modelo
  • Ajuste los parámetros específicos del proveedor

TTS configuration - Runtime AI Chatbot Integrator (external TTS)

TTS configuration - Runtime Local Text To Speech (local Piper/Kokoro)

4. Configurar Animaciones​

Controla los aspectos visuales de tu avatar de IA:

  • Elige entre 3 personajes MetaHuman precargados (Aera, Ada, Orlando)
  • Selecciona el modelo de sincronización labial (Estándar o Realista)
  • Selecciona el tipo de modelo de sincronización labial: Altamente optimizado, Semiopitimizado u Original (consulta Tipo de modelo)
  • Ajusta el Tamaño del fragmento de procesamiento: controla la frecuencia con la que se ejecuta la inferencia de sincronización labial (consulta Tamaño del fragmento de procesamiento)
  • Selecciona una animación inactiva para reproducir en el MetaHuman durante la conversación

Animations configuration screen

Preconfiguración de la demostración en el Editor​

Al trabajar con la versión fuente, puedes predefinir valores predeterminados directamente en el editor para que no sea necesario volver a ingresarlos en cada ejecución:

WhatDónde
Configuración general (modelo de sincronización de labios, animación inactiva, clase de personaje, reconocimiento de voz, etc.)Content/LipSyncSTSGameInstance
Configuración de LLM Externo / TTS Externo (Integrador de Chatbot de IA en Tiempo de Ejecución)Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
Configuración de LLM Local (Runtime Local LLM)Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
Configuración de TTS local (Texto a Voz en Tiempo de Ejecución)Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

Notas multiplataforma​

Todos los complementos utilizados por la demo son compatibles con Windows, Mac, Linux, iOS, Android y plataformas basadas en Android (incluyendo Meta Quest), por lo que el proyecto de demostración también funciona en todas ellas. Esto lo hace adecuado para su implementación en una amplia variedad de entornos, desde juegos y quioscos de escritorio hasta aplicaciones móviles, cascos de realidad virtual independientes y configuraciones de producción virtual en el set.

Para dispositivos más débiles (móviles, VR independiente), es posible que desees:

  • Usa el modelo de sincronización labial estándar en lugar del Realista; consulta la Comparación de modelos
  • Cambia al tipo de modelo Altamente optimizado
  • Aumenta el Tamaño del bloque de procesamiento para reducir la carga de la CPU
  • Elige modelos LLM / TTS más pequeños

Consulte la Configuración específica de la plataforma para conocer los pasos de configuración adicionales en Android, iOS, Mac y Linux.

Soporte de Pixel Streaming​

Desplegando la demo en Pixel Streaming (clic para expandir)

El proyecto de demostración de IA conversacional también funciona en un entorno de Pixel Streaming, lo que te permite transmitir el avatar de MetaHuman a un cliente remoto (por ejemplo, un navegador web) mientras capturas el audio del micrófono del usuario desde el lado del cliente. Solo se requiere un único cambio en la demostración.

1. Instala la extensión de Pixel Streaming para Runtime Audio Importer​

El plugin Runtime Audio Importer proporciona un plugin de extensión gratuito que permite capturar audio desde un cliente de Pixel Streaming. Dependiendo de la versión de la infraestructura de Pixel Streaming que estés utilizando, instala uno de los siguientes:

Los enlaces de descarga y los pasos de instalación están disponibles aquí: Captura de Audio de Pixel Streaming - Instalación del Plugin de Extensión.

2. Intercambia el nodo de onda de sonido capturable en LipSyncSTSGameInstance​

Después de que el plugin de extensión esté instalado:

  1. En el Navegador de Contenido, navega a /All/Game y abre el activo LipSyncSTSGameInstance.
  2. Cambia al Gráfico de Eventos.
  3. Localiza Event Init y sigue el flujo de ejecución hasta que encuentres el par de nodos: Create Capturable Sound Wave → Set Capturable Sound Wave.
  4. Reemplaza la llamada Create Capturable Sound Wave por Create Pixel Streaming Capturable Sound Wave o Create Pixel Streaming 2 Capturable Sound Wave, según la versión de la infraestructura de Pixel Streaming a la que te dirijas.
  5. Conecta su salida al mismo nodo Set Capturable Sound Wave.

Después de esto, el proyecto está listo para ser implementado en Pixel Streaming: el reconocimiento de voz, el LLM, el TTS y la sincronización de labios funcionarán igual que antes, pero con el audio capturado desde el cliente remoto en lugar de un micrófono local.

Usando tu propio personaje​

El proyecto de demostración incluye tres personajes MetaHuman de muestra (Aera, Ada, Orlando), pero puedes importar tu propio MetaHuman y usarlo en la demostración.

📺 Tutorial en video: Agregar un personaje MetaHuman personalizado al proyecto de demostración

nota

El plugin Runtime MetaHuman Lip Sync en sí mismo admite muchos otros sistemas de personajes más allá de MetaHumans (personajes basados en ARKit, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, etc.; consulte la Guía de configuración de personajes personalizados). Ya sea que estés creando un NPC de juego, un presentador virtual, un asistente de quiosco o un humano digital para producción virtual, el plugin se adapta a tu flujo de trabajo de personajes.

Notas para el modelo estándar de sincronización de labios​

Si planeas usar el Modelo Estándar (en lugar del Realista) en cualquiera de los proyectos de demostración, deberás instalar el plugin de Extensión de Sincronización Labial Estándar. Consulta Extensión del Modelo Estándar para obtener instrucciones de instalación.

¿Necesitas ayuda?​

Si encuentras algún problema al configurar o ejecutar los proyectos de demostración, no dudes en contactarnos:

Join our Discord
online · support

Para solicitudes de desarrollo personalizado (por ejemplo, ampliar la demo con tu propia lógica, adaptarla para una plataforma o canalización de personajes específicos), contacta a [email protected].