Detecção de Atividade de Voz
A Onda Sonora de Transmissão Contínua, juntamente com seus tipos derivados, como a Onda Sonora Capturável, suporta Detecção de Atividade de Voz (VAD). O VAD filtra os dados de áudio recebidos para preencher o buffer interno apenas quando a voz é detectada.
O plugin oferece duas implementações de VAD:
- VAD Padrão
- Silero VAD
A implementação padrão usa libfvad, uma biblioteca leve de detecção de atividade de voz que funciona com eficiência em todas as plataformas e versões de engine suportadas pelo Runtime Audio Importer.
Disponível como um plugin de extensão, o Silero VAD é um detector de atividade de voz baseado em rede neural que oferece maior precisão, especialmente em ambientes ruidosos. Ele usa aprendizado de máquina para distinguir a voz do ruído de fundo de forma mais confiável.
Uso Básico
Para ativar o VAD após criar uma onda sonora, use a função ToggleVAD
:
- Blueprint
- C++
// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)
StreamingSoundWave->ToggleVAD(true);
Após ativar o VAD, você pode redefini-lo a qualquer momento:
- Blueprint
- C++
// Reset the VAD
StreamingSoundWave->ResetVAD();
Configurações Padrão do VAD
Ao usar o provedor VAD padrão, você pode ajustar sua agressividade alterando o modo VAD:
- Blueprint
- C++
// Set the VAD mode (only works with the default VAD provider)
StreamingSoundWave->SetVADMode(ERuntimeVADMode::VeryAggressive);
O parâmetro mode controla quão agressivamente o VAD filtra o áudio. Valores mais altos são mais restritivos, significando que são menos propensos a reportar falsos positivos, mas podem perder alguma fala.
Provedores de VAD
Após habilitar o VAD com a função ToggleVAD
, você pode escolher entre diferentes provedores de Detecção de Atividade de Voz para atender às suas necessidades. O provedor padrão é built-in, enquanto provedores adicionais como o Silero VAD estão disponíveis através de plugins de extensão.
- Blueprint
- C++
// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)
// Make sure to call ToggleVAD(true) before setting the provider
// Set the VAD provider to Silero VAD
StreamingSoundWave->SetVADProvider(URuntimeSileroVADProvider::StaticClass());
Extensão Silero VAD
O Silero VAD fornece detecção de fala mais precisa usando redes neurais. Para usá-lo:
-
Certifique-se de que o plugin Runtime Audio Importer já está instalado em seu projeto
-
Faça o download da extensão do plugin Silero VAD no Google Drive
-
Extraia a pasta do arquivo baixado para a pasta
Plugins
do seu projeto (crie esta pasta se ela não existir) -
Para UE 5.6 e versões posteriores: Edite o arquivo
RuntimeAudioImporterSileroVAD.uplugin
para adicionar a dependência NNERuntimeORT. No campo "Plugins", após a inclusão do RuntimeAudioImporter, adicione:
,
{
"Name": "NNERuntimeORT",
"Enabled": true
}
- Recompile seu projeto (esta extensão requer um projeto C++)
-
O VAD padrão funciona com todas as versões da engine suportadas pelo Runtime Audio Importer (UE 4.24, 4.25, 4.26, 4.27, 5.0, 5.1, 5.2, 5.3, 5.4, 5.5 e 5.6)
-
O Silero VAD suporta Unreal Engine 4.27 e todas as versões UE5 (4.27, 5.0, 5.1, 5.2, 5.3, 5.4, 5.5 e 5.6)
-
Requisito UE 5.6+: A partir do Unreal Engine 5.6, a extensão Silero VAD requer que a dependência do plugin NNERuntimeORT seja adicionada manualmente ao arquivo
.uplugin
-
O Silero VAD está disponível para Windows, Linux, Mac, Android (incluindo Meta Quest) e iOS
-
Esta extensão é fornecida como código-fonte e requer um projeto C++ para ser utilizada
-
Para mais informações sobre como compilar plugins manualmente, consulte o tutorial Building Plugins
Uma vez instalado, você pode selecioná-lo como seu provedor de VAD usando a função SetVADProvider
com o provedor de classe Silero.
Detecção de Início e Fim de Fala
A Detecção de Atividade de Voz não apenas detecta a presença de fala, mas também permite a detecção do início e fim da atividade de fala. Isso é útil para acionar eventos quando a fala começa ou termina durante a reprodução ou captura.
Você pode personalizar a sensibilidade da detecção de início e fim de fala ajustando parâmetros como a duração mínima de fala e a duração do silêncio. Esses parâmetros ajudam a ajustar finamente a detecção para evitar falsos positivos, como capturar ruídos breves ou pausas muito curtas entre a fala.
Duração Mínima de Fala
O parâmetro Duração Mínima de Fala define a quantidade mínima de atividade de voz contínua necessária para acionar um evento de início de fala. Isso ajuda a filtrar ruídos breves que não devem ser considerados como fala, para garantir que apenas a atividade de voz sustentada seja reconhecida. O valor padrão para Duração Mínima de Fala é 300 milissegundos.
- Blueprint
- C++
// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)
// Set the minimum speech duration
StreamingSoundWave->SetMinimumSpeechDuration(200);
Duração do Silêncio
O parâmetro Duração do Silêncio define a duração do silêncio necessária para acionar um evento de fim de fala. Isso evita que a detecção de fala termine prematuramente durante pausas naturais entre palavras ou frases. O valor padrão para Duração do Silêncio é 500 milissegundos.
- Blueprint
- C++
// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)
// Set the silence duration
StreamingSoundWave->SetSilenceDuration(700);
Vinculando aos Delegados de Fala
Você pode vincular a delegados específicos quando a fala inicia ou termina. Isso é útil para acionar comportamentos personalizados baseados na atividade de fala, como iniciar ou parar o reconhecimento de texto, ou ajustar o volume de outras fontes de áudio.
- Blueprint
- C++
// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)
// Bind to the OnSpeechStartedNative delegate
StreamingSoundWave->OnSpeechStartedNative.AddWeakLambda(this, [this]()
{
// Handle the result when speech starts
});
// Bind to the OnSpeechEndedNative delegate
StreamingSoundWave->OnSpeechEndedNative.AddWeakLambda(this, [this]()
{
// Handle the result when speech ends
});
Comparando Provedores de VAD
- VAD Padrão
- Silero VAD
VAD Padrão (libfvad)
Vantagens:
- Leve e eficiente
- Funciona em todas as plataformas
- Uso mínimo de recursos
- Adequado para dispositivos móveis e de baixo consumo
Melhor para:
- Detecção de voz simples em ambientes silenciosos
- Aplicações móveis
- Projetos onde o desempenho é uma prioridade
- Quando é necessário suporte universal de plataforma
Silero VAD
Vantagens:
- Maior precisão na detecção de voz
- Tolerância superior a ruídos em ambientes desafiadores
- Resultados mais consistentes entre diferentes falantes
- Opções de configuração avançadas para controle preciso
Melhor para:
- Aplicações que exigem detecção de voz precisa
- Ambientes com ruído de fundo
- Sistemas de reconhecimento de voz
- Aplicações de áudio profissionais
O Silero VAD pode exigir mais recursos computacionais do que o VAD padrão.