Как использовать плагин

Плагин Runtime Speech Recognizer предназначен для распознавания слов из входящих аудиоданных. Он использует слегка модифицированную версию whisper.cpp для работы с движком. Чтобы использовать плагин, выполните следующие шаги:

В редакторе

1. Выберите подходящие языковые модели для вашего проекта, как описано здесь.

Во время выполнения

1. Создайте Speech Recognizer и установите необходимые параметры (CreateSpeechRecognizer, параметры см. здесь).
2. Привяжитесь к нужным делегатам (OnRecognitionFinished, OnRecognizedTextSegment и OnRecognitionError).
3. Запустите распознавание речи (StartSpeechRecognition).
4. Обрабатывайте аудиоданные и ожидайте результатов от делегатов (ProcessAudioData).
5. Остановите распознаватель речи, когда это необходимо (например, после трансляции OnRecognitionFinished).

Плагин поддерживает входящие аудиоданные в формате 32-битного PCM с плавающей запятой (interleaved). Хотя он хорошо работает с Runtime Audio Importer, он не зависит от него напрямую.

Параметры распознавания

Плагин поддерживает распознавание как потоковых, так и непотоковых аудиоданных. Чтобы настроить параметры распознавания для вашего конкретного случая использования, вызовите SetStreamingDefaults или SetNonStreamingDefaults. Дополнительно у вас есть возможность вручную устанавливать отдельные параметры, такие как количество потоков, размер шага, нужно ли переводить входящий язык на английский и использовать ли предыдущую транскрипцию. Обратитесь к Списку параметров распознавания для полного перечня доступных параметров.

Улучшение производительности

Пожалуйста, обратитесь к разделу Как улучшить производительность для получения советов по оптимизации работы плагина.

Детекция голосовой активности (VAD)

При обработке аудиовхода, особенно в потоковых сценариях, рекомендуется использовать Детекцию голосовой активности (VAD) для фильтрации пустых или содержащих только шум сегментов аудио до их попадания в распознаватель. Эта фильтрация может быть включена на стороне capturable sound wave с использованием плагина Runtime Audio Importer, что помогает предотвратить "галлюцинации" языковых моделей - попытки найти паттерны в шуме и генерацию некорректных транскрипций.

Для оптимальных результатов распознавания речи мы рекомендуем использовать провайдер Silero VAD, который обеспечивает лучшую устойчивость к шуму и более точное обнаружение речи. Silero VAD доступен как расширение для плагина Runtime Audio Importer. Подробные инструкции по настройке VAD см. в документации по детекции голосовой активности.

примечание

Копируемые узлы в примерах ниже используют стандартный VAD-провайдер для совместимости. Чтобы повысить точность распознавания, вы можете легко переключиться на Silero VAD:

1. Установите расширение Silero VAD, как описано в разделе Silero VAD Extension
2. После активации VAD с помощью узла Toggle VAD добавьте узел Set VAD Provider и выберите "Silero" из выпадающего списка

В демо-проекте, включённом в плагин, VAD активирован по умолчанию. Подробнее о реализации демо можно узнать в разделе Demo Project.

Примеры

В плагине есть хороший демо-проект в папке Content -> Demo, который можно использовать как пример для реализации.

Эти примеры иллюстрируют использование плагина Runtime Speech Recognizer с потоковым и непотоковым аудиовходом, используя Runtime Audio Importer для получения аудиоданных в качестве примера. Обратите внимание, что для доступа к тем же функциям импорта аудио, что и в примерах (например, capturable sound wave и ImportAudioFromFile), требуется отдельная загрузка RuntimeAudioImporter. Эти примеры предназначены только для иллюстрации основной концепции и не включают обработку ошибок.

Примеры с потоковым аудиовходом

Примечание: В UE 5.3 и других версиях могут отсутствовать узлы после копирования Blueprints. Это может произойти из-за различий в сериализации узлов между версиями движка. Всегда проверяйте, что все узлы правильно подключены в вашей реализации.

1. Базовое потоковое распознавание

Этот пример демонстрирует базовую настройку для захвата аудиоданных с микрофона в виде потока с использованием Capturable sound wave и передачи их в распознаватель речи. Он записывает речь около 5 секунд, а затем обрабатывает распознавание, что делает его подходящим для быстрых тестов и простых реализаций. Копируемые узлы.

Ключевые особенности этой настройки:

• Фиксированная длительность записи 5 секунд
• Простое однократное распознавание
• Минимальные требования к настройке
• Идеально для тестирования и прототипирования

2. Управляемое потоковое распознавание

Этот пример расширяет базовую потоковую настройку, добавляя ручное управление процессом распознавания. Он позволяет запускать и останавливать распознавание по желанию, что делает его подходящим для сценариев, где требуется точный контроль над моментом распознавания. Копируемые узлы.

Ключевые особенности этой настройки:

• Ручное управление стартом/стопом
• Возможность непрерывного распознавания
• Гибкая длительность записи
• Подходит для интерактивных приложений

3. Распознавание голосовых команд

Этот пример оптимизирован для сценариев распознавания команд. Он сочетает потоковое распознавание с Детектором голосовой активности (VAD) для автоматической обработки речи, когда пользователь перестает говорить. Распознаватель начинает обработку накопленной речи только при обнаружении тишины, что делает его идеальным для интерфейсов на основе команд. Копируемые ноды.

Ключевые особенности этой настройки:

• Ручное управление стартом/стопом
• Включен Детектор голосовой активности (VAD) для обнаружения сегментов речи
• Автоматический запуск распознавания при обнаружении тишины
• Оптимально для распознавания коротких команд
• Сниженная нагрузка за счет обработки только реальной речи

4. Автоинициализация голосового распознавания с обработкой финального буфера

Этот пример представляет собой еще одну вариацию подхода с голосовой активацией, но с другим управлением жизненным циклом. Он автоматически запускает распознаватель при инициализации и останавливает его при деинициализации. Ключевая особенность — обработка последнего накопленного аудиобуфера перед остановкой распознавателя, что гарантирует отсутствие потери речевых данных, когда пользователь хочет завершить процесс распознавания. Эта настройка особенно полезна для приложений, где важно захватывать полные высказывания пользователя даже при остановке в середине речи. Копируемые ноды.

Ключевые особенности этой настройки:

• Автозапуск распознавателя при инициализации
• Автоостановка распознавателя при деинициализации
• Обработка финального аудиобуфера перед полной остановкой
• Использует Детектор голосовой активности (VAD) для эффективного распознавания
• Гарантирует отсутствие потери речевых данных при остановке

Непотоковый аудиоввод

Этот пример импортирует аудиоданные в Imported sound wave и распознает полные аудиоданные после их импорта. Копируемые ноды.