Guia de Processamento de Áudio

Este guia aborda como configurar diferentes métodos de entrada de áudio para alimentar dados de áudio para seus geradores de sincronização labial. Certifique-se de ter concluído o Guia de Configuração antes de prosseguir.

Processamento de Entrada de Áudio

Você precisa configurar um método para processar a entrada de áudio. Existem várias maneiras de fazer isso, dependendo da sua fonte de áudio.

Microfone (Tempo real)

Esta abordagem executa a sincronização labial em tempo real enquanto se fala no microfone:

Modelo Padrão

1. Crie uma Capturable Sound Wave usando Runtime Audio Importer
2. Antes de começar a capturar áudio, vincule-se ao delegado OnPopulateAudioData
3. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator
4. Comece a capturar áudio do microfone

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Microfone (Reprodução)

Esta abordagem captura áudio de um microfone e, em seguida, o reproduz com sincronização labial:

Modelo Padrão

1. Crie uma Capturable Sound Wave usando Runtime Audio Importer
2. Inicie a captura de áudio do microfone
3. Antes de reproduzir a capturable sound wave, vincule-se ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Text-to-Speech (Local)

Regular

Esta abordagem sintetiza fala a partir de texto usando TTS local e executa sincronização labial:

Standard Model

1. Use Runtime Text To Speech para gerar fala a partir de texto
2. Use Runtime Audio Importer para importar o áudio sintetizado
3. Antes de reproduzir a onda sonora importada, vincule ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator

Nós copiáveis.

Realistic Model

Compatibilidade com TTS Local

O TTS local fornecido pelo plugin Runtime Text To Speech não é atualmente suportado com o modelo Realistic regular devido a conflitos de runtime ONNX. Para text-to-speech com o modelo Realistic regular, considere:

• Usar serviços de TTS externos (ElevenLabs, OpenAI, etc.)
• Usar soluções de TTS local externas (TTS baseado em Python, APIs de TTS do sistema, ou outras soluções locais não-ONNX)
• Usar o Standard Model ou Mood-Enabled Realistic Model em vez disso, que suportam o plugin Runtime Text To Speech

Mood-Enabled Realistic Model

1. Use Runtime Text To Speech para gerar fala a partir de texto
2. Use Runtime Audio Importer para importar o áudio sintetizado
3. Antes de reproduzir a onda sonora importada, vincule ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Mood-Enabled Lip Sync Generator
5. Configure as definições de humor com base no conteúdo do texto ou na expressão emocional desejada

Nós copiáveis.

TTS com Integração de Humor:

• Defina humores apropriados antes ou durante a geração de TTS
• Ajuste a intensidade do humor para corresponder ao tom emocional do texto
• Use diferentes humores para diferentes seções de conteúdo de texto mais longo

Streaming

Esta abordagem utiliza síntese de texto-para-voz em streaming com sincronização labial em tempo real:

Standard Model

1. Use Runtime Text To Speech para gerar fala em streaming a partir de texto
2. Use Runtime Audio Importer para importar o áudio sintetizado
3. Antes de reproduzir a onda sonora em streaming, vincule-se ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator

Nós copiáveis.

Realistic Model

Compatibilidade com TTS Local

O TTS local fornecido pelo plugin Runtime Text To Speech não é atualmente suportado com o modelo Realistic regular devido a conflitos de runtime ONNX. Para texto-para-voz com o modelo Realistic regular, considere:

• Usar serviços de TTS externos (ElevenLabs, OpenAI, etc.)
• Usar soluções de TTS local externas (TTS baseado em Python, APIs de TTS do sistema, ou outras soluções locais não-ONNX)
• Usar o Standard Model ou Mood-Enabled Realistic Model em vez disso, que suportam o plugin Runtime Text To Speech

Mood-Enabled Realistic Model

1. Use Runtime Text To Speech para gerar fala em streaming a partir de texto
2. Use Runtime Audio Importer para importar o áudio sintetizado
3. Antes de reproduzir a onda sonora em streaming, vincule-se ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Mood-Enabled Lip Sync Generator
5. Ajuste as configurações de humor dinamicamente durante o streaming, se necessário

Nós copiáveis.

Text-to-Speech (APIs Externas)

Regular

Esta abordagem usa o plugin Runtime AI Chatbot Integrator para gerar fala sintetizada de serviços de IA (OpenAI ou ElevenLabs) e realizar sincronização labial:

Modelo Padrão

1. Use Runtime AI Chatbot Integrator para gerar fala a partir de texto usando APIs externas (OpenAI, ElevenLabs, etc.)
2. Use Runtime Audio Importer para importar os dados de áudio sintetizados
3. Antes de reproduzir a onda sonora importada, vincule-se ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Streaming

Esta abordagem utiliza o plugin Runtime AI Chatbot Integrator para gerar fala sintetizada em streaming de serviços de IA (OpenAI ou ElevenLabs) e realizar a sincronização labial:

Standard Model

1. Use Runtime AI Chatbot Integrator para conectar-se a APIs de TTS em streaming (como a ElevenLabs Streaming API)
2. Use Runtime Audio Importer para importar os dados de áudio sintetizados
3. Antes de reproduzir a onda sonora em streaming, vincule-se ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator

Nós copiáveis.

Realistic Model

O Realistic Model utiliza o mesmo fluxo de trabalho de processamento de áudio que o Standard Model, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Mood-Enabled Realistic Model

O Mood-Enabled Model utiliza o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

From Audio File/Buffer

Esta abordagem usa arquivos de áudio pré-gravados ou buffers de áudio para sincronização labial:

Standard Model

1. Use Runtime Audio Importer para importar um arquivo de áudio do disco ou memória
2. Antes de reproduzir a onda sonora importada, vincule-se ao seu delegado OnGeneratePCMData
3. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator
4. Reproduza a onda sonora importada e observe a animação de sincronização labial

Copyable nodes.

Realistic Model

O Realistic Model usa o mesmo fluxo de trabalho de processamento de áudio que o Standard Model, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Copyable nodes.

Mood-Enabled Realistic Model

O Mood-Enabled Model usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Copyable nodes.

Streaming Audio Buffer

Para streaming de dados de áudio de um buffer, você precisa:

Standard Model

1. Dados de áudio em formato PCM float (um array de amostras de ponto flutuante) disponíveis da sua fonte de streaming (ou use Runtime Audio Importer para suportar mais formatos)
2. A taxa de amostragem e número de canais
3. Chame ProcessAudioData do seu Runtime Viseme Generator com estes parâmetros conforme os chunks de áudio se tornam disponíveis

Copyable nodes.

Realistic Model

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Mood-Enabled Realistic Model

O Modelo Realista com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Nota: Ao usar fontes de áudio de streaming, certifique-se de gerenciar o tempo de reprodução de áudio adequadamente para evitar reprodução distorcida. Consulte a documentação de Streaming Sound Wave para mais informações.

Dicas de Desempenho de Processamento

• Tamanho do Chunk: Se você quiser processar dados de áudio em chunks menores para sincronização labial mais responsiva, ajuste o cálculo na função SetNumSamplesPerChunk. Por exemplo, dividir a taxa de amostragem por 150 (streaming a cada ~6,67 ms) em vez de 100 (streaming a cada 10 ms) fornecerá atualizações de sincronização labial mais frequentes.

• Gerenciamento de Buffer: O modelo com humor processa áudio em quadros de 320 amostras (20ms a 16kHz). Certifique-se de que o tempo de entrada de áudio esteja alinhado com isso para um desempenho ideal.

• Recriação do Gerador: Para operação confiável com modelos Realistas, recrie o gerador sempre que quiser alimentar novos dados de áudio após um período de inatividade.

Próximos Passos

Uma vez que você tenha o processamento de áudio configurado, você pode querer:

• Aprender sobre opções de Configuração para ajustar o comportamento da sua sincronização labial
• Adicionar animação de risada para maior expressividade
• Combinar sincronização labial com animações faciais existentes usando as técnicas de camadas descritas no guia de Configuração