メインコンテンツまでスキップ

ピクセルストリーミングオーディオキャプチャ

Pixel Streamingは、Unreal Engine用のプラグインで、レンダリングされたフレームをストリーミングし、WebRTCを介して入出力を同期します。アプリケーションはサーバー側で実行され、クライアント側はレンダリングとユーザーインタラクションを担当します。Pixel Streamingの詳細とセットアップについては、Pixel Streaming Documentationを参照してください。

Pixel Streamingによるオーディオキャプチャ

Pixel Streamingはオーディオキャプチャをサポートしていますが、デフォルトのプラグインのCapturable Sound Waveの実装とは異なります。Pixel Streamingの場合、キャプチャ可能サウンドウェーブはサーバー側の入力デバイスからオーディオをキャプチャしますが、クライアント側(ブラウザ)からのオーディオキャプチャには、キャプチャ可能サウンドウェーブを拡張し、Synth Componentソース(Pixel Streaming Audio Componentを含む)からオーディオをキャプチャするよう設計されたSynth-based Sound Waveが必要です。

実装手順

オーディオ関連コンポーネントを保持するアクターにPixel Streaming Audioコンポーネントを追加します。

Add Pixel Streaming Audio Component


あなたのアクターにはこのコンポーネントが含まれるようになります:

Pixel Streaming Audio Component


次に、このコンポーネントを選択し、DetailsパネルでAuto ActivateFalseに設定します。

Auto Activate to False


Blueprint(またはC++)でSynth-based Sound Waveを作成し、以前に追加したPixel Streaming Audioコンポーネントをパラメータとして渡します。これにより、サウンドウェーブはオーディオコンポーネントからオーディオデータを内部的に収集することが可能になります。

Create Synth Based Sound Wave node

StartCapture関数をCapturable Sound Waveと同様に使用します。

最終的な実装はこのようになるかもしれません:

An example of using a synth based sound wave

Details

備考 Synth-based Sound Waveは、Synth Componentソースからのオーディオキャプチャをサポートしており、Pixel Streaming Audio Componentを含みます。理論上、Synth Componentの派生クラスには全て対応していますが、Pixel Streaming Audio Componentでのみテストされています。