Обнаружение речевой активности

Streaming Sound Wave, а также его производные типы, такие как Capturable Sound Wave, поддерживают Обнаружение речевой активности (VAD). VAD фильтрует входящие аудиоданные, чтобы заполнять внутренний буфер только при обнаружении речи.

Плагин предлагает две реализации VAD:

Default VAD

Реализация по умолчанию использует libfvad, легковесную библиотеку обнаружения речевой активности, которая эффективно работает на всех платформах и версиях движка, поддерживаемых Runtime Audio Importer.

Silero VAD

Доступный как расширяющий плагин, Silero VAD — это нейросетевой детектор речевой активности, который обеспечивает более высокую точность, особенно в шумной обстановке. Он использует машинное обучение для более надежного различения речи и фонового шума.

Базовое использование

Чтобы включить VAD после создания звуковой волны, используйте функцию ToggleVAD:

Blueprint

C++

// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)
StreamingSoundWave->ToggleVAD(true);

После включения VAD вы можете сбросить его в любое время:

Blueprint

C++

// Reset the VAD
StreamingSoundWave->ResetVAD();

Настройки VAD по умолчанию

При использовании провайдера VAD по умолчанию вы можете настроить его агрессивность, изменив режим VAD:

Blueprint

C++

// Set the VAD mode (only works with the default VAD provider)
StreamingSoundWave->SetVADMode(ERuntimeVADMode::VeryAggressive);

Параметр mode управляет тем, насколько агрессивно VAD фильтрует аудио. Более высокие значения являются более строгими, что означает, что они с меньшей вероятностью сообщат о ложных срабатываниях, но могут пропустить некоторую речь.

Провайдеры VAD

После включения VAD с помощью функции ToggleVAD, вы можете выбрать между различными провайдерами обнаружения речевой активности в соответствии с вашими потребностями. Провайдер по умолчанию является встроенным, в то время как дополнительные провайдеры, такие как Silero VAD, доступны через плагины расширений.

Blueprint

C++

// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)
// Make sure to call ToggleVAD(true) before setting the provider

// Set the VAD provider to Silero VAD
StreamingSoundWave->SetVADProvider(URuntimeSileroVADProvider::StaticClass());

Расширение Silero VAD

Silero VAD обеспечивает более точное обнаружение речи с использованием нейронных сетей. Чтобы использовать его:

1. Убедитесь, что плагин Runtime Audio Importer уже установлен в вашем проекте

2. Для UE 5.5 и более ранних версий: Перед загрузкой плагина расширения Silero VAD убедитесь, что NNERuntimeORT отключен в вашем проекте. Наличие включенного NNERuntimeORT может вызвать сбои при использовании Silero VAD в этих версиях движка из-за конфликтов

3. Загрузите плагин расширения Silero VAD с Google Drive

4. Извлеките папку из загруженного архива в папку Plugins вашего проекта (создайте эту папку, если она не существует)

5. Для UE 5.6 и более поздних версий: Отредактируйте файл RuntimeAudioImporterSileroVAD.uplugin, чтобы добавить зависимость NNERuntimeORT. В поле "Plugins", после включения RuntimeAudioImporter, добавьте:

   ,
   {
       "Name": "NNERuntimeORT",
       "Enabled": true
   }

6. Пересоберите ваш проект (это расширение требует проект на C++)

important

• Стандартный VAD работает со всеми версиями движка, поддерживаемыми Runtime Audio Importer (UE 4.24, 4.25, 4.26, 4.27, 5.0, 5.1, 5.2, 5.3, 5.4, 5.5, 5.6 и 5.7)

• Silero VAD поддерживает Unreal Engine 4.27 и все версии UE5 (4.27, 5.0, 5.1, 5.2, 5.3, 5.4, 5.5, 5.6 и 5.7)

• UE 5.5 и более ранние: NNERuntimeORT должен быть отключен перед использованием Silero VAD, чтобы предотвратить сбои из-за конфликтов плагинов

• Требование для UE 5.6+: Начиная с Unreal Engine 5.6, расширение Silero VAD требует, чтобы зависимость плагина NNERuntimeORT была вручную добавлена в файл .uplugin

• Silero VAD доступен для Windows, Linux, Mac, Android (включая Meta Quest) и iOS

• Это расширение предоставляется в виде исходного кода и требует проект на C++ для использования

• Для получения дополнительной информации о том, как собирать плагины вручную, см. руководство по сборке плагинов

После установки вы можете выбрать его в качестве вашего провайдера VAD, используя функцию SetVADProvider с провайдером класса Silero.

Обнаружение начала и конца речи

Обнаружение речевой активности не только определяет наличие речи, но также позволяет обнаруживать начало и конец речевой активности. Это полезно для запуска событий, когда речь начинается или заканчивается во время воспроизведения или захвата.

Вы можете настроить чувствительность обнаружения начала и конца речи, регулируя параметры, такие как минимальная продолжительность речи и продолжительность тишины. Эти параметры помогают точно настроить обнаружение, чтобы избежать ложных срабатываний, таких как захват кратковременных шумов или слишком коротких пауз в речи.

Минимальная продолжительность речи

Параметр Минимальная продолжительность речи устанавливает минимальное количество непрерывной речевой активности, необходимое для запуска события начала речи. Это помогает отфильтровать кратковременные шумы, которые не должны считаться речью, чтобы гарантировать, что распознается только устойчивая речевая активность. Значение по умолчанию для Минимальной продолжительности речи составляет 300 миллисекунд.

Blueprint

C++

// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)

// Set the minimum speech duration
StreamingSoundWave->SetMinimumSpeechDuration(200);

Длительность тишины

Параметр Длительность тишины устанавливает продолжительность тишины, необходимую для срабатывания события окончания речи. Это предотвращает преждевременное завершение обнаружения речи во время естественных пауз между словами или предложениями. Значение по умолчанию для Длительности тишины составляет 500 миллисекунд.

Blueprint

C++

// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)

// Set the silence duration
StreamingSoundWave->SetSilenceDuration(700);

Привязка к делегатам речи

Вы можете привязываться к определенным делегатам, когда речь начинается или заканчивается. Это полезно для запуска пользовательского поведения на основе речевой активности, такого как запуск или остановка распознавания текста, или регулировка громкости других источников аудио.

Blueprint

C++

// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)

// Bind to the OnSpeechStartedNative delegate
StreamingSoundWave->OnSpeechStartedNative.AddWeakLambda(this, [this]()
{
  // Handle the result when speech starts
});

// Bind to the OnSpeechEndedNative delegate
StreamingSoundWave->OnSpeechEndedNative.AddWeakLambda(this, [this]()
{
  // Handle the result when speech ends
});

Сравнение поставщиков VAD

Default VAD

Default VAD (libfvad)

Преимущества:

• Легковесный и эффективный
• Работает на всех платформах
• Минимальное использование ресурсов
• Подходит для мобильных и маломощных устройств

Лучше всего для:

• Простое обнаружение голоса в тихих средах
• Мобильные приложения
• Проекты, где приоритетом является производительность
• Когда требуется универсальная поддержка платформ

Silero VAD

Silero VAD

Преимущества:

• Более высокая точность обнаружения голоса
• Превосходная устойчивость к шуму в сложных условиях
• Более стабильные результаты для разных говорящих
• Расширенные опции конфигурации для точного контроля

Лучше всего для:

• Приложения, требующие точного обнаружения голоса
• Среды с фоновым шумом
• Системы распознавания голоса
• Профессиональные аудиоприложения

примечание

Silero VAD может требовать больше вычислительных ресурсов, чем Default VAD.