Guia de Processamento de Áudio

Este guia aborda como configurar diferentes métodos de entrada de áudio para fornecer dados de áudio aos seus geradores de sincronização labial. Certifique-se de ter concluído o Guia de Configuração antes de prosseguir.

Processamento de Entrada de Áudio

Você precisa configurar um método para processar a entrada de áudio. Existem várias maneiras de fazer isso, dependendo da sua fonte de áudio.

Microfone (Tempo real)

Esta abordagem realiza a sincronização labial em tempo real enquanto se fala no microfone:

Modelo Padrão

1. Crie um Capturable Sound Wave usando o Runtime Audio Importer
   • Para Linux com Pixel Streaming, use Pixel Streaming Capturable Sound Wave em vez disso
2. Antes de começar a capturar áudio, vincule-se ao delegado OnPopulateAudioData
3. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator
4. Inicie a captura de áudio do microfone

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Microfone (Reprodução)

Esta abordagem captura áudio de um microfone e, em seguida, o reproduz com sincronização labial:

Modelo Padrão

1. Crie um Capturable Sound Wave usando o Runtime Audio Importer
   • Para Linux com Pixel Streaming, use Pixel Streaming Capturable Sound Wave em vez disso
2. Inicie a captura de áudio do microfone
3. Antes de reproduzir o capturable sound wave, vincule-se ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Texto para Voz (Local)

Regular

Esta abordagem sintetiza fala a partir de texto usando TTS local e realiza sincronização labial:

Modelo Padrão

1. Use Runtime Text To Speech para gerar fala a partir de texto
2. Use Runtime Audio Importer para importar o áudio sintetizado
3. Antes de reproduzir o sound wave importado, vincule-se ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Streaming

Esta abordagem usa síntese de texto para voz em streaming com sincronização labial em tempo real:

Modelo Padrão

1. Use Runtime Text To Speech para gerar fala em streaming a partir de texto
2. Use Runtime Audio Importer para importar o áudio sintetizado
3. Antes de reproduzir o sound wave de streaming, vincule-se ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Texto para Voz (APIs Externas)

Regular

Esta abordagem usa o plugin Runtime AI Chatbot Integrator para gerar fala sintetizada a partir de serviços de IA (OpenAI ou ElevenLabs) e realizar sincronização labial:

Modelo Padrão

1. Use Runtime AI Chatbot Integrator para gerar fala a partir de texto usando APIs externas (OpenAI, ElevenLabs, etc.)
2. Use Runtime Audio Importer para importar os dados de áudio sintetizados
3. Antes de reproduzir o sound wave importado, vincule-se ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Streaming

Esta abordagem usa o plugin Runtime AI Chatbot Integrator para gerar fala sintetizada em streaming a partir de serviços de IA (OpenAI ou ElevenLabs) e realizar sincronização labial:

Modelo Padrão

1. Use Runtime AI Chatbot Integrator para conectar-se a APIs de TTS em streaming (como a API de Streaming da ElevenLabs)
2. Use Runtime Audio Importer para importar os dados de áudio sintetizados
3. Antes de reproduzir o sound wave de streaming, vincule-se ao seu delegado OnGeneratePCMData
4. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

De Arquivo/Buffer de Áudio

Esta abordagem usa arquivos de áudio pré-gravados ou buffers de áudio para sincronização labial:

Modelo Padrão

1. Use Runtime Audio Importer para importar um arquivo de áudio do disco ou da memória
2. Antes de reproduzir o sound wave importado, vincule-se ao seu delegado OnGeneratePCMData
3. Na função vinculada, chame ProcessAudioData do seu Runtime Viseme Generator
4. Reproduza o sound wave importado e observe a animação de sincronização labial

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Buffer de Áudio em Streaming

Para dados de áudio em streaming a partir de um buffer, você precisa:

Modelo Padrão

1. Dados de áudio em formato PCM float (um array de amostras de ponto flutuante) disponíveis da sua fonte de streaming (ou use Runtime Audio Importer para suportar mais formatos)
2. A taxa de amostragem e o número de canais
3. Chame ProcessAudioData do seu Runtime Viseme Generator com esses parâmetros conforme os chunks de áudio se tornam disponíveis

Nós copiáveis.

Modelo Realista

O Modelo Realista usa o mesmo fluxo de trabalho de processamento de áudio que o Modelo Padrão, mas com a variável RealisticLipSyncGenerator em vez de VisemeGenerator.

Nós copiáveis.

Modelo Realista com Humor

O Modelo com Humor usa o mesmo fluxo de trabalho de processamento de áudio, mas com a variável MoodMetaHumanLipSyncGenerator e capacidades adicionais de configuração de humor.

Nós copiáveis.

Nota: Ao usar fontes de áudio em streaming, certifique-se de gerenciar o tempo de reprodução de áudio adequadamente para evitar reprodução distorcida. Consulte a documentação do Streaming Sound Wave para mais informações.

Dicas de Desempenho de Processamento

• Tamanho do Chunk: Aumentar a opção de configuração ProcessingChunkSize (por exemplo, para 320, 480 ou 640 amostras) pode melhorar perceptivelmente a latência com impacto mínimo na qualidade ou responsividade.

• Tipo de Modelo: Ao usar modelos Realistas, mudar para o tipo de modelo Altamente Otimizado (selecionado por padrão) pode melhorar o desempenho. Observe que o modelo original pode produzir qualidade ligeiramente melhor, particularmente com áudio ruidoso.

• Gerenciamento de Buffer: O modelo com humor processa áudio em quadros de 320 amostras (20ms a 16kHz). Certifique-se de que o tempo da sua entrada de áudio esteja alinhado com isso para um desempenho ideal.

• Recriação do Gerador: Para operação confiável com modelos Realistas, recrie o gerador cada vez que quiser alimentar novos dados de áudio após um período de inatividade.

Próximos Passos

Depois de configurar o processamento de áudio, você pode querer:

• Aprender sobre opções de Configuração para ajustar o comportamento da sua sincronização labial
• Adicionar animação de risada para maior expressividade
• Combinar sincronização labial com animações faciais existentes usando as técnicas de sobreposição descritas no guia de Configuração