Guía de Procesamiento de Audio

Esta guía cubre cómo configurar diferentes métodos de entrada de audio para alimentar datos de audio a tus generadores de sincronización de labios. Asegúrate de haber completado la Guía de Configuración antes de continuar.

Procesamiento de Entrada de Audio

Debes configurar un método para procesar la entrada de audio. Hay varias formas de hacerlo según tu fuente de audio.

Micrófono (Tiempo real)

Este enfoque realiza la sincronización de labios en tiempo real mientras se habla al micrófono:

Modelo Estándar

1. Crea una Onda de Sonido Capturable usando Runtime Audio Importer
   • Para Linux con Pixel Streaming, usa Pixel Streaming Capturable Sound Wave en su lugar.
2. Antes de comenzar a capturar audio, vincúlate al delegado OnPopulateAudioData
3. En la función vinculada, llama a ProcessAudioData desde tu Generador de Visemas en Tiempo de Ejecución
4. Comienza a capturar audio desde el micrófono

Nodos copiables.

Modelo Realista

El Modelo Realista utiliza el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

Nodos copiables.

Modelo Realista con Estado de Ánimo

El modelo habilitado para estados de ánimo utiliza el mismo flujo de trabajo de procesamiento de audio, pero con la variable MoodMetaHumanLipSyncGenerator y capacidades adicionales de configuración de estados de ánimo.

Nodos copiables.

Micrófono (Reproducción)

Este enfoque captura el audio desde un micrófono y luego lo reproduce con sincronización de labios:

Modelo Estándar

1. Crea una Onda de Sonido Capturable usando Runtime Audio Importer
   • Para Linux con Pixel Streaming, usa Pixel Streaming Capturable Sound Wave en su lugar.
2. Iniciar la captura de audio desde el micrófono
3. Antes de reproducir la onda de sonido capturable, vincúlate a su delegado OnGeneratePCMData
4. En la función vinculada, llama a ProcessAudioData desde tu Generador de Visemas en Tiempo de Ejecución

Nodos copiables.

Modelo Realista

El Modelo Realista utiliza el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

Nodos copiables.

Modelo Realista con Estado de Ánimo

El modelo habilitado para estados de ánimo utiliza el mismo flujo de trabajo de procesamiento de audio, pero con la variable MoodMetaHumanLipSyncGenerator y capacidades adicionales de configuración de estados de ánimo.

Nodos copiables.

Texto a Voz (Local)

Regular

Este enfoque sintetiza el habla a partir de texto utilizando TTS local y realiza sincronización de labios.

Modelo Estándar

1. Usa Runtime Text To Speech para generar voz a partir de texto
2. Usa Runtime Audio Importer para importar el audio sintetizado
3. Antes de reproducir la onda de sonido importada, vincúlate a su delegado OnGeneratePCMData
4. En la función vinculada, llama a ProcessAudioData desde tu Runtime Viseme Generator

Nodos copiables.

Modelo Realista

El Modelo Realista utiliza el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

Nodos copiables.

Modelo Realista con Estado de Ánimo

El modelo habilitado para estados de ánimo utiliza el mismo flujo de trabajo de procesamiento de audio, pero con la variable MoodMetaHumanLipSyncGenerator y capacidades adicionales de configuración de estados de ánimo.

Nodos copiables.

Transmisión en vivo

Este enfoque utiliza síntesis de texto a voz en streaming con sincronización de labios en tiempo real.

Modelo Estándar

1. Usa Runtime Text To Speech para generar voz en streaming a partir de texto
2. Usa Runtime Audio Importer para importar el audio sintetizado
3. Antes de reproducir la onda de sonido en streaming, vincúlate a su delegado OnGeneratePCMData
4. En la función vinculada, llama a ProcessAudioData desde tu Runtime Viseme Generator

Nodos copiables.

Modelo Realista

El Modelo Realista utiliza el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

Nodos copiables.

Modelo Realista con Estado de Ánimo

El modelo habilitado para estados de ánimo utiliza el mismo flujo de trabajo de procesamiento de audio, pero con la variable MoodMetaHumanLipSyncGenerator y capacidades adicionales de configuración del estado de ánimo.

Nodos copiables.

Texto a Voz (APIs Externas)

Regular

Este enfoque utiliza el plugin Runtime AI Chatbot Integrator para generar voz sintetizada a partir de servicios de IA (OpenAI o ElevenLabs) y realizar sincronización de labios:

Modelo Estándar

1. Usa Runtime AI Chatbot Integrator para generar voz a partir de texto usando APIs externas (OpenAI, ElevenLabs, etc.)
2. Usa Runtime Audio Importer para importar los datos de audio sintetizados
3. Antes de reproducir la onda de sonido importada, vincúlate a su delegado OnGeneratePCMData
4. En la función vinculada, llama a ProcessAudioData desde tu Generador de Visemas en Tiempo de Ejecución

Nodos copiables.

Modelo Realista

El Modelo Realista utiliza el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

Nodos copiables.

Modelo Realista con Estado de Ánimo

El modelo habilitado para estados de ánimo utiliza el mismo flujo de trabajo de procesamiento de audio, pero con la variable MoodMetaHumanLipSyncGenerator y capacidades adicionales de configuración de estados de ánimo.

Nodos copiables.

Transmisión en vivo

Este enfoque utiliza el plugin Runtime AI Chatbot Integrator para generar voz sintetizada en streaming desde servicios de IA (OpenAI o ElevenLabs) y realizar sincronización de labios:

Modelo Estándar

1. Usa Runtime AI Chatbot Integrator para conectarte a APIs de TTS en streaming (como la API de streaming de ElevenLabs)
2. Usa Runtime Audio Importer para importar los datos de audio sintetizados
3. Antes de reproducir la onda de sonido en streaming, vincúlate a su delegado OnGeneratePCMData
4. En la función vinculada, llama a ProcessAudioData desde tu Generador de Visemas en Tiempo de Ejecución

Nodos copiables.

Modelo Realista

El Modelo Realista utiliza el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

Nodos copiables.

Modelo Realista con Estado de Ánimo

El modelo habilitado para estados de ánimo utiliza el mismo flujo de trabajo de procesamiento de audio, pero con la variable MoodMetaHumanLipSyncGenerator y capacidades adicionales de configuración de estados de ánimo.

Nodos copiables.

Desde archivo/almacenamiento de audio

Este enfoque utiliza archivos de audio pregrabados o búferes de audio para la sincronización de labios:

Modelo Estándar

1. Usa Runtime Audio Importer para importar un archivo de audio desde el disco o la memoria
2. Antes de reproducir la onda de sonido importada, vincúlate a su delegado OnGeneratePCMData
3. En la función vinculada, llama a ProcessAudioData desde tu Generador de Visemas en Tiempo de Ejecución
4. Reproduce la onda de sonido importada y observa la animación de sincronización de labios

Nodos copiables.

Modelo Realista

El Modelo Realista utiliza el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

Nodos copiables.

Modelo Realista con Estado de Ánimo

El modelo habilitado para estados de ánimo utiliza el mismo flujo de trabajo de procesamiento de audio, pero con la variable MoodMetaHumanLipSyncGenerator y capacidades adicionales de configuración de estados de ánimo.

Nodos copiables.

Búfer de Audio en Streaming

Para transmitir datos de audio desde un búfer, necesitas:

Modelo Estándar

1. Datos de audio en formato PCM flotante (un arreglo de muestras de punto flotante) disponibles desde tu fuente de transmisión (o usa Runtime Audio Importer para admitir más formatos)
2. La frecuencia de muestreo y el número de canales
3. Llama a ProcessAudioData desde tu Runtime Viseme Generator con estos parámetros a medida que los fragmentos de audio estén disponibles

Nodos copiables.

Modelo Realista

El Modelo Realista utiliza el mismo flujo de trabajo de procesamiento de audio que el Modelo Estándar, pero con la variable RealisticLipSyncGenerator en lugar de VisemeGenerator.

Nodos copiables.

Modelo Realista con Estado de Ánimo

El modelo habilitado para estados de ánimo utiliza el mismo flujo de trabajo de procesamiento de audio, pero con la variable MoodMetaHumanLipSyncGenerator y capacidades adicionales de configuración de estados de ánimo.

Nodos copiables.

Nota: Al usar fuentes de audio en streaming, asegúrate de gestionar adecuadamente la sincronización de la reproducción de audio para evitar una reproducción distorsionada. Consulta la documentación de Streaming Sound Wave para obtener más información.

Consejos de rendimiento de procesamiento

• Tamaño de Fragmento: Aumentar la opción de configuración ProcessingChunkSize (https://docs.georgy.dev/runtime-metahuman-lip-sync/plugin-configuration#processing-chunk-size) (por ejemplo, a 320, 480 o 640 muestras) puede mejorar notablemente la latencia con un impacto mínimo en la calidad o la capacidad de respuesta.

• Tipo de modelo: Al usar modelos realistas, cambiar al tipo de modelo altamente optimizado (seleccionado por defecto) puede mejorar el rendimiento. Tenga en cuenta que el modelo original puede producir una calidad ligeramente mejor, especialmente con audio ruidoso.

• Gestión de Búfer: El modelo habilitado para estados de ánimo procesa el audio en tramas de 320 muestras (20 ms a 16 kHz). Asegúrese de que la sincronización de su entrada de audio se alinee con esto para un rendimiento óptimo.

• Recreación del generador: Para un funcionamiento fiable con modelos realistas, recrea el generador cada vez que quieras introducir nuevos datos de audio tras un período de inactividad. Consulta Recreación del generador en la sección de Solución de problemas para obtener una explicación.

Próximos pasos

Una vez que tengas configurado el procesamiento de audio, es posible que desees:

• Aprende sobre las opciones de configuración para ajustar el comportamiento de sincronización de labios
• Agrega animación de risa para una mayor expresividad
• Combina la sincronización de labios con animaciones faciales existentes utilizando las técnicas de capas descritas en la guía de configuración