ピクセルストリーミングオーディオキャプチャ
Pixel Streamingは、Unreal Engine用のプラグインで、レンダリングされたフレームをストリーミングし、WebRTCを介して入出力を同期します。アプリケーションはサーバー側で実行され、クライアント側はレンダリングとユーザーインタラクションを担当します。Pixel Streamingの詳細とセットアップについては、Pixel Streaming Documentationを参照してください。
Pixel Streamingによるオーディオキャプチャ
Pixel Streamingはオーディオキャプチャをサポートしていますが、デフォルトのプラグインのCapturable Sound Waveの実装とは異なります。Pixel Streamingの場合、キャプチャ可能サウンドウェーブはサーバー側の入力デバイスからオーディオをキャプチャしますが、クライアント側(ブラウザ)からのオーディオキャプチャには、キャプチャ可能サウンドウェーブを拡張し、Synth Componentソース(Pixel Streaming Audio Componentを含む)からオーディオをキャプチャするよう設計されたSynth-based Sound Waveが必要です。
実装手順
オーディオ関連コンポーネントを保持するアクターにPixel Streaming Audioコンポーネントを追加します。
あなたのアクターにはこのコンポーネントが含まれるようになります:
次に、このコンポーネントを選択し、DetailsパネルでAuto ActivateをFalseに設定します。
Blueprint(またはC++)でSynth-based Sound Waveを作成し、以前に追加したPixel Streaming Audioコンポーネントをパラメータとして渡します。これにより、サウンドウェーブはオーディオコンポーネントからオーディオデータを内部的に収集することが可能になります。
StartCapture
関数をCapturable Sound Waveと同様に使用します。
最終的な実装はこのようになるかもしれません: