Pixel Streaming Audio-Aufnahme
Pixel Streaming ist ein Plugin für Unreal Engine, das gerenderte Frames streamt und Eingaben/Ausgaben über WebRTC synchronisiert. Die Anwendung läuft auf der Serverseite, während die Clientseite das Rendering und die Benutzerinteraktion übernimmt. Weitere Details zu Pixel Streaming und dessen Einrichtung finden Sie in der Pixel Streaming Dokumentation.
Audio-Aufnahme mit Pixel Streaming
Pixel Streaming unterstützt Audio-Aufnahmen, unterscheidet sich jedoch von der Standard-Implementierung der Capturable Sound Wave des Plugins. Bei Pixel Streaming erfasst die capturable sound wave Audio von Eingabegeräten auf der Serverseite, während die Aufnahme von Audio auf der Clientseite (Browser) die Synth-based Sound Wave erfordert. Diese erweitert die capturable sound wave und ist für die Aufnahme von Audio aus Synth Component-Quellen, einschließlich der Pixel Streaming Audio Component, konzipiert.
Implementierungsschritte
Fügen Sie eine Pixel Streaming Audio-Komponente zu einem Actor hinzu, der audio-bezogene Komponenten enthalten soll.
Ihr Actor sollte nun diese Komponente enthalten:
Wählen Sie diese Komponente aus, gehen Sie zum Details-Panel und setzen Sie Auto Activate auf False.
Erstellen Sie in Ihren Blueprints (oder C++) eine Synth-based Sound Wave und übergeben Sie die zuvor hinzugefügte Pixel Streaming Audio-Komponente als Parameter. Dadurch kann die Sound Wave intern Audiodaten von der Audio-Komponente sammeln.
Verwenden Sie die Funktion StartCapture, wie Sie es mit der Capturable Sound Wave tun würden.
Am Ende könnte Ihre Implementierung so aussehen:
