Przechwytywanie dźwięku w Pixel Streaming

Pixel Streaming to wtyczka dla Unreal Engine, która przesyła strumieniowo renderowane klatki i synchronizuje wejście/wyjście za pośrednictwem WebRTC. Aplikacja działa po stronie serwera, podczas gdy strona klienta obsługuje renderowanie i interakcję użytkownika. Aby uzyskać więcej szczegółów na temat Pixel Streaming i konfiguracji, zapoznaj się z Dokumentacją Pixel Streaming.

Pixel Streaming vs Pixel Streaming 2

Ta wtyczka obsługuje obie wersje Pixel Streaming dostępne w Unreal Engine:

• Pixel Streaming - Oryginalna wtyczka, dostępna od UE 5.2 i nadal aktywnie używana w obecnych wersjach silnika
• Pixel Streaming 2 - Wprowadzona w UE 5.5 jako implementacja następnej generacji z ulepszoną architekturą wewnętrzną. Dowiedz się więcej o Pixel Streaming 2

Obie wersje są w pełni obsługiwane i dostępne w najnowszych wydaniach Unreal Engine. Wybierz wersję pasującą do konfiguracji Pixel Streaming twojego projektu.

informacja

API dla obu wersji jest identyczne, z tą tylko różnicą, że klasy i funkcje Pixel Streaming 2 zawierają "2" w swoich nazwach (np. UPixelStreamingCapturableSoundWave vs UPixelStreaming2CapturableSoundWave).

Kompatybilność

To rozwiązanie działa z:

• Oficjalną infrastrukturą Pixel Streaming (Implementacja referencyjna Epic Games)
• Zewnętrznymi dostawcami Pixel Streaming, w tym:
  • Vagon.io
  • Arcane Mirage
  • Eagle 3D Streaming
  • Inne rozwiązania strumieniowania oparte na WebRTC
• Systemami operacyjnymi: Serwery Windows i Linux

Implementacja została przetestowana w tych środowiskach i działa poprawnie niezależnie od używanego rozwiązania hostingu Pixel Streaming.

Instalacja wtyczki rozszerzenia

Ta funkcja jest dostarczana jako rozszerzenie wtyczki Runtime Audio Importer. Aby jej użyć, musisz:

1. Upewnij się, że wtyczka Runtime Audio Importer jest już zainstalowana w twoim projekcie
2. Pobierz wtyczkę rozszerzenia dla twojej wersji Pixel Streaming:
   • Pixel Streaming: Pobierz z Google Drive
   • Pixel Streaming 2: Pobierz z Google Drive
3. Wypakuj folder z pobranego archiwum do folderu Plugins twojego projektu (utwórz ten folder, jeśli nie istnieje)
4. Przebuduj swój projekt (to rozszerzenie wymaga projektu C++)

important

• Te rozszerzenia są dostarczane jako kod źródłowy i wymagają projektu C++ do użycia
• Rozszerzenie Pixel Streaming: Obsługiwane w UE 5.2 i nowszych
• Rozszerzenie Pixel Streaming 2: Obsługiwane w UE 5.5 i nowszych
• Aby uzyskać więcej informacji na temat ręcznego budowania wtyczek, zobacz samouczek Building Plugins

Przegląd

Pixel Streaming Capturable Sound Wave rozszerza standardową Capturable Sound Wave, umożliwiając przechwytywanie dźwięku bezpośrednio z mikrofonów klientów Pixel Streaming. Ta funkcja pozwala na:

• Przechwytywanie dźwięku z przeglądarek połączonych przez Pixel Streaming
• Przetwarzanie dźwięku od konkretnych graczy/peerów
• Implementację czatu głosowego, komend głosowych lub nagrywania dźwięku od zdalnych użytkowników

Podstawowe użycie

Tworzenie Pixel Streaming Capturable Sound Wave

Najpierw musisz utworzyć obiekt Pixel Streaming Capturable Sound Wave:

Pixel Streaming

Blueprint

C++

PixelStreamingSoundWave = UPixelStreamingCapturableSoundWave::CreatePixelStreamingCapturableSoundWave();

Pixel Streaming 2

Blueprint

Użyj węzła Create Pixel Streaming 2 Capturable Sound Wave (takiego samego jak Pixel Streaming, ale z "2" w nazwie)

C++

PixelStreamingSoundWave = UPixelStreaming2CapturableSoundWave::CreatePixelStreaming2CapturableSoundWave();

warning

Powinieneś traktować Pixel Streaming Capturable Sound Wave jako silne odniesienie, aby zapobiec przedwczesnemu zniszczeniu (np. przypisując ją do osobnej zmiennej w Blueprints lub używając UPROPERTY() w C++).

Rozpoczynanie i Zatrzymywanie Przechwytywania

Możesz rozpocząć i zatrzymać przechwytywanie dźwięku za pomocą prostych wywołań funkcji:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object

// Start capturing audio (the device ID parameter is ignored for Pixel Streaming)
PixelStreamingSoundWave->StartCapture(0);

// Stop capturing audio
PixelStreamingSoundWave->StopCapture();

Pixel Streaming 2

Blueprint

Użyj tych samych węzłów Start Capture i Stop Capture ze swoją Capturable Sound Wave dla Pixel Streaming 2

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object

// Start capturing audio (the device ID parameter is ignored for Pixel Streaming 2)
PixelStreamingSoundWave->StartCapture(0);

// Stop capturing audio
PixelStreamingSoundWave->StopCapture();

notatka

Parametr DeviceId w StartCapture jest ignorowany dla Pixel Streaming Capturable Sound Waves, ponieważ źródło przechwytywania jest określane automatycznie lub przez ustawione informacje o graczu.

Sprawdzanie statusu przechwytywania

Możesz sprawdzić, czy fala dźwiękowa aktualnie przechwytuje dźwięk:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object
bool bIsCapturing = PixelStreamingSoundWave->IsCapturing();

Pixel Streaming 2

Blueprint

Użyj tego samego węzła Is Capturing z twoją Capturable Sound Wave Pixel Streaming 2

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object
bool bIsCapturing = PixelStreamingSoundWave->IsCapturing();

Kompletny przykład

Oto kompletny przykład konfiguracji przechwytywania dźwięku Pixel Streaming:

Pixel Streaming

Blueprint

C++

To jest podstawowy przykład kodu do przechwytywania danych audio z klienta Pixel Streaming.

Przykład używa funkcji CapturePixelStreamingAudioExample znajdującej się w klasie UPixelStreamingAudioExample w module EXAMPLEMODULE.

notatka

Aby pomyślnie uruchomić przykład, upewnij się, że dodałeś zarówno moduły RuntimeAudioImporter, jak i PixelStreaming do PublicDependencyModuleNames lub PrivateDependencyModuleNames w pliku .Build.cs, a także do pliku .uproject twojego projektu.

Header file (.h)

#pragma once

#include "CoreMinimal.h"
#include "UObject/Object.h"
#include "PixelStreamingAudioExample.generated.h"

UCLASS(BlueprintType)
class EXAMPLEMODULE_API UPixelStreamingAudioExample : public UObject
{
	GENERATED_BODY()

public:
	UFUNCTION(BlueprintCallable)
	void CapturePixelStreamingAudioExample();

private:
	// Keep a strong reference to prevent garbage collection
	UPROPERTY()
	class UPixelStreamingCapturableSoundWave* PixelStreamingSoundWave;
};

Source file (.cpp)

#include "PixelStreamingAudioExample.h"
#include "Sound/PixelStreamingCapturableSoundWave.h"
#include "Kismet/GameplayStatics.h"

void UPixelStreamingAudioExample::CapturePixelStreamingAudioExample()
{
	// Create a Pixel Streaming Capturable Sound Wave
	PixelStreamingSoundWave = UPixelStreamingCapturableSoundWave::CreatePixelStreamingCapturableSoundWave();
	
	// Start capturing audio
	PixelStreamingSoundWave->StartCapture(0);
	
	// Play the sound wave to hear the captured audio
	UGameplayStatics::PlaySound2D(GetWorld(), PixelStreamingSoundWave);
	
	// Set up a timer to stop capture after 30 seconds (just for demonstration)
	FTimerHandle TimerHandle;
	GetWorld()->GetTimerManager().SetTimer(TimerHandle, [this]()
	{
		PixelStreamingSoundWave->StopCapture();
	}, 30.0f, false);
}

Pixel Streaming 2

Blueprint

Konfiguracja Blueprint jest identyczna jak w przypadku Pixel Streaming, ale użyj węzła Create Pixel Streaming 2 Capturable Sound Wave zamiast

C++

To jest podstawowy przykład kodu do przechwytywania danych audio z klienta Pixel Streaming 2.

Przykład używa funkcji CapturePixelStreaming2AudioExample znajdującej się w klasie UPixelStreaming2AudioExample w module EXAMPLEMODULE.

notatka

Aby pomyślnie uruchomić przykład, upewnij się, że dodałeś zarówno moduły RuntimeAudioImporter, jak i PixelStreaming2 do PublicDependencyModuleNames lub PrivateDependencyModuleNames w pliku .Build.cs, a także do pliku .uproject twojego projektu.

Header file (.h)

#pragma once

#include "CoreMinimal.h"
#include "UObject/Object.h"
#include "PixelStreaming2AudioExample.generated.h"

UCLASS(BlueprintType)
class EXAMPLEMODULE_API UPixelStreaming2AudioExample : public UObject
{
	GENERATED_BODY()

public:
	UFUNCTION(BlueprintCallable)
	void CapturePixelStreaming2AudioExample();

private:
	// Keep a strong reference to prevent garbage collection
	UPROPERTY()
	class UPixelStreaming2CapturableSoundWave* PixelStreamingSoundWave;
};

Source file (.cpp)

#include "PixelStreaming2AudioExample.h"
#include "Sound/PixelStreaming2CapturableSoundWave.h"
#include "Kismet/GameplayStatics.h"

void UPixelStreaming2AudioExample::CapturePixelStreaming2AudioExample()
{
	// Create a Pixel Streaming 2 Capturable Sound Wave
	PixelStreamingSoundWave = UPixelStreaming2CapturableSoundWave::CreatePixelStreaming2CapturableSoundWave();
	
	// Start capturing audio
	PixelStreamingSoundWave->StartCapture(0);
	
	// Play the sound wave to hear the captured audio
	UGameplayStatics::PlaySound2D(GetWorld(), PixelStreamingSoundWave);
	
	// Set up a timer to stop capture after 30 seconds (just for demonstration)
	FTimerHandle TimerHandle;
	GetWorld()->GetTimerManager().SetTimer(TimerHandle, [this]()
	{
		PixelStreamingSoundWave->StopCapture();
	}, 30.0f, false);
}

Praca z wieloma odtwarzaczami Pixel Streaming

W scenariuszach, w których masz wielu klientów Pixel Streaming podłączonych jednocześnie, możesz potrzebować przechwytywać dźwięk z określonych odtwarzaczy. Poniższe funkcje pomagają w zarządzaniu tym.

Uzyskiwanie dostępnych odtwarzaczy Pixel Streaming

Aby zidentyfikować, które odtwarzacze Pixel Streaming są podłączone:

Pixel Streaming

Blueprint

C++

UPixelStreamingCapturableSoundWave::GetAvailablePixelStreamingPlayers(FOnGetAvailablePixelStreamingPlayersResultNative::CreateWeakLambda(this, [](const TArray<FPixelStreamingPlayerInfo_RAI>& AvailablePlayers)
{
    // Handle the list of available players
    for (const FPixelStreamingPlayerInfo_RAI& PlayerInfo : AvailablePlayers)
    {
        UE_LOG(LogTemp, Log, TEXT("Available player: %s on streamer: %s"), *PlayerInfo.PlayerId, *PlayerInfo.StreamerId);
    }
}));

Pixel Streaming 2

Blueprint

Użyj węzła Get Available Pixel Streaming 2 Players

C++

UPixelStreaming2CapturableSoundWave::GetAvailablePixelStreaming2Players(FOnGetAvailablePixelStreaming2PlayersResultNative::CreateWeakLambda(this, [](const TArray<FPixelStreaming2PlayerInfo_RAI>& AvailablePlayers)
{
    // Handle the list of available players
    for (const FPixelStreaming2PlayerInfo_RAI& PlayerInfo : AvailablePlayers)
    {
        UE_LOG(LogTemp, Log, TEXT("Available player: %s on streamer: %s"), *PlayerInfo.PlayerId, *PlayerInfo.StreamerId);
    }
}));

Ustawianie Gracza do Przechwytywania

Kiedy musisz przechwytywać z określonego gracza:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object
// and PlayerInfo is a FPixelStreamingPlayerInfo_RAI object from GetAvailablePixelStreamingPlayers

PixelStreamingSoundWave->PlayerInfo = PlayerInfo;

Pixel Streaming 2

Blueprint

Użyj węzła Set Player To Capture From z twoją Pixel Streaming 2 Capturable Sound Wave

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object
// and PlayerInfo is a FPixelStreaming2PlayerInfo_RAI object from GetAvailablePixelStreaming2Players

PixelStreamingSoundWave->PlayerInfo = PlayerInfo;

informacja

Jeśli pozostawisz identyfikator gracza pusty, fala dźwiękowa automatycznie będzie nasłuchiwać pierwszego dostępnego gracza, który się połączy. Jest to domyślne zachowanie i dobrze sprawdza się w scenariuszach dla jednego gracza.

Typowe przypadki użycia

Implementacja czatu głosowego

Możesz użyć fal dźwiękowych przechwytywalnych Pixel Streaming do zaimplementowania czatu głosowego między użytkownikami zdalnymi a lokalnymi graczami:

1. Utwórz falę dźwiękową przechwytywalną Pixel Streaming dla każdego podłączonego gracza
2. Skonfiguruj system do zarządzania tym, którzy gracze aktualnie mówią
3. Użyj systemu wykrywania aktywności głosowej do wykrywania, kiedy użytkownicy mówią
4. Przestrzennie zlokalizuj dźwięk za pomocą systemu audio Unreal Engine, jeśli jest to potrzebne

Komendy głosowe z rozpoznawaniem mowy

Możesz zaimplementować rozpoznawanie komend głosowych dla użytkowników zdalnych, łącząc tę funkcję z wtyczką Runtime Speech Recognizer:

1. Przechwytuj dźwięk od klientów Pixel Streaming używając fali dźwiękowej przechwytywalnej Pixel Streaming
2. Przekazuj przechwycony dźwięk bezpośrednio do Runtime Speech Recognizer
3. Przetwarzaj rozpoznany tekst w logice swojej gry

Po prostu zastąp standardową falę dźwiękową przechwytywalną falą dźwiękową przechwytywalną Pixel Streaming (lub falą dźwiękową przechwytywalną Pixel Streaming 2) w przykładach Runtime Speech Recognizer, a będzie ona działać bezproblemowo z wejściem audio Pixel Streaming.

Nagrywanie dźwięku użytkowników zdalnych

Możesz nagrywać dźwięk od użytkowników zdalnych do późniejszego odtwarzania:

1. Przechwytuj dźwięk używając fali dźwiękowej przechwytywalnej Pixel Streaming
2. Eksportuj przechwycony dźwięk do pliku używając eksportu audio
3. Zapisz plik do późniejszego użycia lub analizy