メインコンテンツまでスキップ

音声活動検出

ストリーミングサウンドウェーブと、キャプチャ可能サウンドウェーブなどの派生型は、音声活動検出(VAD)をサポートしています。VADは、音声が検出された場合にのみ内部バッファを埋めるために、入力されるオーディオデータをフィルタリングします。

このプラグインは2つのVAD実装を提供します:

デフォルトの実装はlibfvadを使用します。これは軽量な音声活動検出ライブラリであり、Runtime Audio Importerがサポートするすべてのプラットフォームとエンジンバージョンで効率的に動作します。

基本的な使用方法

サウンドウェーブを作成した後にVADを有効にするには、ToggleVAD関数を使用します:

Toggle VADノード

VADを有効にした後、いつでもリセットできます:

VADリセットノード

デフォルトの VAD 設定

デフォルトの VAD プロバイダーを使用する場合、VAD モードを変更することでその積極性を調整できます:

Set VAD Mode node

mode パラメータは、VAD がオーディオをフィルタリングする積極性を制御します。値が高いほど制限的になり、誤検出を報告する可能性が低くなりますが、一部の音声を見逃す可能性があります。

VAD プロバイダー

ToggleVAD 関数で VAD を有効にした後、ニーズに合わせてさまざまな Voice Activity Detection プロバイダーから選択できます。デフォルトのプロバイダーは組み込みですが、Silero VAD などの追加プロバイダーは拡張プラグインを通じて利用可能です。

Set VAD Provider node

Silero VAD 拡張機能

Silero VAD はニューラルネットワークを使用してより正確な音声検出を提供します。使用方法:

  1. Runtime Audio Importer プラグインがプロジェクトに既にインストールされていることを確認してください

  2. UE 5.5 以前の場合: Silero VAD 拡張プラグインをダウンロードする前に、プロジェクトで NNERuntimeORT が無効になっていることを確認してください。NNERuntimeORT が有効になっていると、競合によりこれらのエンジンバージョンで Silero VAD を使用する際にクラッシュが発生する可能性があります

  3. Google Drive から Silero VAD 拡張プラグインをダウンロードしてください

  4. ダウンロードしたアーカイブからフォルダを抽出し、プロジェクトの Plugins フォルダに配置してください(このフォルダが存在しない場合は作成してください)

  5. UE 5.6 以降の場合: RuntimeAudioImporterSileroVAD.uplugin ファイルを編集して NNERuntimeORT の依存関係を追加します。"Plugins" フィールドで、RuntimeAudioImporter の記述の後に以下を追加します:

   ,
{
"Name": "NNERuntimeORT",
"Enabled": true
}
  1. プロジェクトをリビルドしてください(この拡張機能はC++プロジェクトが必要です)
important
  • デフォルトのVADは、Runtime Audio Importerがサポートするすべてのエンジンバージョン(UE 4.24、4.25、4.26、4.27、5.0、5.1、5.2、5.3、5.4、5.5、および5.6)で動作します

  • Silero VADはUnreal Engine 4.27およびすべてのUE5バージョン(4.27、5.0、5.1、5.2、5.3、5.4、5.5、および5.6)をサポートします

  • UE 5.5以前: プラグインの競合によるクラッシュを防ぐため、Silero VADを使用する前にNNERuntimeORTを無効にする必要があります

  • UE 5.6+ 要件: Unreal Engine 5.6以降、Silero VAD拡張機能はNNERuntimeORTプラグインの依存関係を.upluginファイルに手動で追加する必要があります

  • Silero VADはWindows、Linux、Mac、Android(Meta Questを含む)、およびiOSで利用可能です

  • この拡張機能はソースコードとして提供され、使用するにはC++プロジェクトが必要です

  • プラグインを手動でビルドする方法の詳細については、Building Plugins tutorialを参照してください

インストール後、Sileroクラスプロバイダーを使用してSetVADProvider関数でVADプロバイダーとして選択できます。

音声開始と終了の検出

Voice Activity Detection(VAD)は音声の存在を検出するだけでなく、音声活動の開始と終了の検出も可能にします。これは、再生やキャプチャ中に音声が開始または終了したときにイベントをトリガーするのに役立ちます。

最小音声継続時間や無音時間などのパラメータを調整することで、音声開始と終了の検出の感度をカスタマイズできます。これらのパラメータは、短いノイズや音声間の短すぎるポーズなどの誤検出を避けるために検出を微調整するのに役立ちます。

最小音声継続時間

最小音声継続時間パラメータは、音声開始イベントをトリガーするために必要な連続した音声活動の最小量を設定します。これにより、音声と見なされるべきでない短いノイズをフィルタリングし、持続的な音声活動のみが認識されるようにします。最小音声継続時間のデフォルト値は300ミリ秒です。

Set Minimum Speech Duration node

無音期間 (Silence Duration)

無音期間 (Silence Duration) パラメータは、発話終了イベントをトリガーするために必要な無音の長さを設定します。これにより、単語や文の間の自然なポーズ中に音声検出が早期に終了するのを防ぎます。無音期間 (Silence Duration) のデフォルト値は 500 ミリ秒です。

Set Silence Duration node

音声デリゲートへのバインド

音声の開始時または終了時に特定のデリゲートにバインドできます。これは、音声アクティビティに基づいてカスタムの動作(テキスト認識の開始や停止、他のオーディオソースの音量調整など)をトリガーするのに役立ちます。

Bind Event To On Speech Started Bind Event To On Speech Ended

VADプロバイダーの比較

Default VAD (libfvad)

利点:

  • 軽量で効率的
  • すべてのプラットフォームで動作
  • リソース使用量が最小限
  • モバイルおよび低電力デバイスに適している

最適な用途:

  • 静かな環境でのシンプルな音声検出
  • モバイルアプリケーション
  • パフォーマンスが優先されるプロジェクト
  • ユニバーサルなプラットフォームサポートが必要な場合