Captura de audio en Pixel Streaming
Pixel Streaming es un plugin para Unreal Engine que transmite cuadros renderizados y sincroniza entrada/salida a través de WebRTC. La aplicación se ejecuta en el lado del servidor, mientras que el lado del cliente maneja el renderizado y la interacción del usuario. Para más detalles sobre Pixel Streaming y su configuración, consulta la Documentación de Pixel Streaming.
Captura de Audio con Pixel Streaming
Pixel Streaming admite la captura de audio, pero difiere de la implementación predeterminada del plugin Capturable Sound Wave. En el caso de Pixel Streaming, la capturable sound wave captura audio de dispositivos de entrada en el lado del servidor, mientras que capturar audio desde el lado del cliente (navegador) requiere el Synth-based Sound Wave, que extiende capturable sound wave y está diseñado para capturar audio de fuentes del Synth Component, incluido el Pixel Streaming Audio Component.
Pasos de Implementación
Añade un componente Pixel Streaming Audio a un actor que contendrá componentes relacionados con el audio.
Tu actor ahora debería incluir este componente:
Luego, selecciona este componente, ve al panel de Details y configura Auto Activate en False.
En tus Blueprints (o C++), crea un Synth-based Sound Wave y pasa el componente Pixel Streaming Audio previamente agregado como parámetro. Esto hará posible que el sound wave recoja internamente los datos de audio del componente de audio.
Utiliza la función StartCapture como lo harías con Capturable Sound Wave.
Finalmente, tu implementación podría verse así:
