Захват аудио в Pixel Streaming
Pixel Streaming — это плагин для Unreal Engine, который транслирует отрендеренные кадры и синхронизирует ввод/вывод через WebRTC. Приложение работает на стороне сервера, в то время как клиентская сторона обрабатывает рендеринг и взаимодействие с пользователем. Для получения более подробной информации о Pixel Streaming и его настройке обратитесь к документации Pixel Streaming.
Захват аудио с помощью Pixel Streaming
Pixel Streaming поддерживает захват аудио, но отличается от реализации Capturable Sound Wave по умолчанию. Когда речь идет о Pixel Streaming, захватываемая звуковая волна фиксирует аудио с входных устройств на стороне сервера, тогда как для захвата аудио с клиентской стороны (браузер) требуется Synth-based Sound Wave, которая расширяет захватываемую звуковую волну и предназначена для захвата звука из источников Synth Component, включая Pixel Streaming Audio Component.
Этапы реализации
Добавьте компонент Pixel Streaming Audio к актеру, который будет содержать компоненты, связанные с аудио.
Теперь ваш актер должен включать этот компонент:
Затем выберите этот компонент, перейдите на Details панель и установите Auto Activate в False.
В ваших синих чертежах (или C++) создайте Synth-based Sound Wave и передайте ранее добавленный компонент Pixel Streaming Audio в качестве параметра. Это позволит звуковой волне внутренне собирать аудиоданные из аудиокомпонента.
Используйте функцию StartCapture, как и с Capturable Sound Wave.
Наконец, ваша реализация может выглядеть так:
