跳到主要内容

像素流音频捕获

Pixel Streaming 是一个用于 Unreal Engine 的插件,用于通过 WebRTC 流式传输渲染帧并同步输入/输出。应用程序运行在服务器端,而客户端负责渲染和用户交互。关于 Pixel Streaming 和设置的更多详细信息,请参阅像素流文档

使用像素流进行音频捕获

Pixel Streaming 支持音频捕获,但与默认插件的可捕获声音波实现有所不同。在像素流中,可捕获声音波从服务器端的输入设备捕获音频,而从客户端(浏览器)捕获音频需要使用 Synth-based Sound Wave,它扩展了可捕获声音波并专为从 Synth Component 源(包括 Pixel Streaming Audio Component)捕获音频而设计。

实现步骤

为将持有音频相关组件的演员添加一个 Pixel Streaming Audio 组件。

添加像素流音频组件


你的演员现在应该包括这个组件:

像素流音频组件


接下来,选择此组件,转到 Details 面板,并将 Auto Activate 设置为 False

自动激活为 False


在你的Blueprint(或 C++)中,创建一个 Synth-based Sound Wave 并将之前添加的 Pixel Streaming Audio 组件作为参数传递。这将使声音波可以从音频组件内部收集音频数据。

创建 Synth Based Sound Wave 节点

像使用可捕获声音波一样使用 StartCapture 函数。

最后,你的实现可能看起来像这样:

使用合成基础声音波的一个示例

Details

注意事项 Synth-based Sound Wave 支持从 Synth Component 源捕获音频,包括 Pixel Streaming Audio Component。虽然理论上支持任何 Synth Component 的派生类,但仅经过 Pixel Streaming Audio Component 的测试。