Pixel Streaming Ses Yakalama

Pixel Streaming, Unreal Engine için oluşturulmuş, işlenmiş kareleri akışa alan ve WebRTC üzerinden giriş/çıkışı senkronize eden bir eklentidir. Uygulama sunucu tarafında çalışırken, istemci tarafı işleme ve kullanıcı etkileşimini yönetir. Pixel Streaming ve kurulumu hakkında daha fazla bilgi için Pixel Streaming Dokümantasyonu sayfasına bakın.

Pixel Streaming vs Pixel Streaming 2

Bu eklenti, Unreal Engine'de mevcut olan her iki Pixel Streaming sürümünü de destekler:

• Pixel Streaming - Orijinal eklenti, UE 5.2'den beri mevcut ve mevcut motor sürümlerinde hala aktif olarak kullanılıyor
• Pixel Streaming 2 - UE 5.5'te tanıtılan, geliştirilmiş bir dahili mimariye sahip yeni nesil bir uygulama. Pixel Streaming 2 hakkında daha fazla bilgi edinin

Her iki sürüm de tam olarak desteklenmekte ve en son Unreal Engine sürümlerinde mevcuttur. Projenizin Pixel Streaming kurulumuyla eşleşen sürümü seçin.

bilgi

Her iki sürüm için API aynıdır, tek fark Pixel Streaming 2 sınıflarının ve işlevlerinin adlarında "2" bulunmasıdır (örneğin, UPixelStreamingCapturableSoundWave vs UPixelStreaming2CapturableSoundWave).

Uyumluluk

Bu çözüm şunlarla çalışır:

• Resmi Pixel Streaming altyapısı (Epic Games referans uygulaması)
• Üçüncü taraf Pixel Streaming sağlayıcıları dahil:
  • Vagon.io
  • Arcane Mirage
  • Eagle 3D Streaming
  • Diğer WebRTC tabanlı akış çözümleri
• İşletim sistemleri: Windows ve Linux sunucular

Uygulama bu ortamlar üzerinde test edilmiş olup, kullanılan Pixel Streaming barındırma çözümünden bağımsız olarak doğru şekilde çalışır.

Uzantı Eklentisi Kurulumu

Bu özellik, Runtime Audio Importer eklentisine bir uzantı olarak sağlanmaktadır. Kullanmak için şunları yapmanız gerekir:

1. Runtime Audio Importer eklentisinin projenizde zaten kurulu olduğundan emin olun
2. Pixel Streaming sürümünüz için uzantı eklentisini indirin:
   • Pixel Streaming: İndir
   • Pixel Streaming 2: İndir
3. İndirilen arşivden klasörü projenizin Plugins klasörüne çıkarın (bu klasör yoksa oluşturun)
4. Projenizi yeniden oluşturun (bu uzantı bir C++ projesi gerektirir)

important

• Bu uzantılar kaynak kodu olarak sağlanır ve kullanmak için bir C++ projesi gerektirir
• Pixel Streaming uzantısı: UE 5.2 ve sonrasında desteklenir
• Pixel Streaming 2 uzantısı: UE 5.5 ve sonrasında desteklenir
• Eklentileri manuel olarak oluşturma hakkında daha fazla bilgi için Eklenti Oluşturma eğitimine bakın

Genel Bakış

Pixel Streaming Capturable Sound Wave, standart Capturable Sound Wave öğesini genişleterek, doğrudan Pixel Streaming istemcilerinin mikrofonlarından ses yakalamaya olanak tanır. Bu özellik şunları yapmanızı sağlar:

• Pixel Streaming üzerinden bağlanan tarayıcılardan ses yakalama
• Belirli oyuncular/akranlardan gelen sesi işleme
• Uzaktaki kullanıcılardan sesli sohbet, sesli komutlar veya ses kaydı uygulama

Temel Kullanım

Bir Pixel Streaming Capturable Sound Wave Oluşturma

İlk olarak, bir Pixel Streaming Capturable Sound Wave nesnesi oluşturmanız gerekir:

Pixel Streaming

Blueprint

C++

PixelStreamingSoundWave = UPixelStreamingCapturableSoundWave::CreatePixelStreamingCapturableSoundWave();

Pixel Streaming 2

Blueprint

Create Pixel Streaming 2 Capturable Sound Wave düğümünü kullanın (Pixel Streaming ile aynı, ancak adında "2" var)

C++

PixelStreamingSoundWave = UPixelStreaming2CapturableSoundWave::CreatePixelStreaming2CapturableSoundWave();

uyarı

Pixel Streaming Capturable Sound Wave'ın erken yok edilmesini önlemek için onu güçlü bir referans olarak ele almalısınız (örneğin, Blueprints'te ayrı bir değişkene atayarak veya C++'ta UPROPERTY() kullanarak).

Yakalamayı Başlatma ve Durdurma

Ses yakalamayı basit fonksiyon çağrıları ile başlatıp durdurabilirsiniz:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object

// Start capturing audio (the device ID parameter is ignored for Pixel Streaming)
PixelStreamingSoundWave->StartCapture(0);

// Stop capturing audio
PixelStreamingSoundWave->StopCapture();

Pixel Streaming 2

Blueprint

Pixel Streaming 2 Yakalanabilir Ses Dalgası ile aynı Yakalamayı Başlat ve Yakalamayı Durdur düğümlerini kullanın

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object

// Start capturing audio (the device ID parameter is ignored for Pixel Streaming 2)
PixelStreamingSoundWave->StartCapture(0);

// Stop capturing audio
PixelStreamingSoundWave->StopCapture();

not

StartCapture fonksiyonundaki DeviceId parametresi, Pixel Streaming Yakalanabilir Ses Dalgaları için göz ardı edilir, çünkü yakalama kaynağı otomatik olarak veya ayarladığınız oyuncu bilgisi tarafından belirlenir.

Yakalama Durumunu Kontrol Etme

Ses dalgasının şu anda ses yakalayıp yakalamadığını kontrol edebilirsiniz:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object
bool bIsCapturing = PixelStreamingSoundWave->IsCapturing();

Pixel Streaming 2

Blueprint

Aynı Is Capturing düğümünü Pixel Streaming 2 Yakalanabilir Ses Dalgası ile kullanın

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object
bool bIsCapturing = PixelStreamingSoundWave->IsCapturing();

Tam Örnek

İşte Pixel Streaming ses yakalama kurulumunun tam bir örneği:

Pixel Streaming

Blueprint

C++

Bu, bir Pixel Streaming istemcisinden ses verisi yakalamak için temel bir kod örneğidir.

Örnek, EXAMPLEMODULE modülü içindeki UPixelStreamingAudioExample sınıfında bulunan CapturePixelStreamingAudioExample işlevini kullanır.

not

Örneği başarıyla çalıştırmak için, hem RuntimeAudioImporter hem de PixelStreaming modüllerini .Build.cs dosyasındaki PublicDependencyModuleNames veya PrivateDependencyModuleNames listesine ve ayrıca projenizin .uproject dosyasına eklediğinizden emin olun.

Header file (.h)

#pragma once

#include "CoreMinimal.h"
#include "UObject/Object.h"
#include "PixelStreamingAudioExample.generated.h"

UCLASS(BlueprintType)
class EXAMPLEMODULE_API UPixelStreamingAudioExample : public UObject
{
	GENERATED_BODY()

public:
	UFUNCTION(BlueprintCallable)
	void CapturePixelStreamingAudioExample();

private:
	// Keep a strong reference to prevent garbage collection
	UPROPERTY()
	class UPixelStreamingCapturableSoundWave* PixelStreamingSoundWave;
};

Source file (.cpp)

#include "PixelStreamingAudioExample.h"
#include "Sound/PixelStreamingCapturableSoundWave.h"
#include "Kismet/GameplayStatics.h"

void UPixelStreamingAudioExample::CapturePixelStreamingAudioExample()
{
	// Create a Pixel Streaming Capturable Sound Wave
	PixelStreamingSoundWave = UPixelStreamingCapturableSoundWave::CreatePixelStreamingCapturableSoundWave();
	
	// Start capturing audio
	PixelStreamingSoundWave->StartCapture(0);
	
	// Play the sound wave to hear the captured audio
	UGameplayStatics::PlaySound2D(GetWorld(), PixelStreamingSoundWave);
	
	// Set up a timer to stop capture after 30 seconds (just for demonstration)
	FTimerHandle TimerHandle;
	GetWorld()->GetTimerManager().SetTimer(TimerHandle, [this]()
	{
		PixelStreamingSoundWave->StopCapture();
	}, 30.0f, false);
}

Pixel Streaming 2

Blueprint

Blueprint kurulumu Pixel Streaming ile aynıdır, ancak Create Pixel Streaming 2 Capturable Sound Wave düğümünü kullanın

C++

Bu, bir Pixel Streaming 2 istemcisinden ses verisi yakalamak için temel bir kod örneğidir.

Örnek, EXAMPLEMODULE modülü içindeki UPixelStreaming2AudioExample sınıfında bulunan CapturePixelStreaming2AudioExample işlevini kullanır.

not

Örneği başarıyla çalıştırmak için, hem RuntimeAudioImporter hem de PixelStreaming2 modüllerini .Build.cs dosyasındaki PublicDependencyModuleNames veya PrivateDependencyModuleNames listesine ve ayrıca projenizin .uproject dosyasına eklediğinizden emin olun.

Header file (.h)

#pragma once

#include "CoreMinimal.h"
#include "UObject/Object.h"
#include "PixelStreaming2AudioExample.generated.h"

UCLASS(BlueprintType)
class EXAMPLEMODULE_API UPixelStreaming2AudioExample : public UObject
{
	GENERATED_BODY()

public:
	UFUNCTION(BlueprintCallable)
	void CapturePixelStreaming2AudioExample();

private:
	// Keep a strong reference to prevent garbage collection
	UPROPERTY()
	class UPixelStreaming2CapturableSoundWave* PixelStreamingSoundWave;
};

Source file (.cpp)

#include "PixelStreaming2AudioExample.h"
#include "Sound/PixelStreaming2CapturableSoundWave.h"
#include "Kismet/GameplayStatics.h"

void UPixelStreaming2AudioExample::CapturePixelStreaming2AudioExample()
{
	// Create a Pixel Streaming 2 Capturable Sound Wave
	PixelStreamingSoundWave = UPixelStreaming2CapturableSoundWave::CreatePixelStreaming2CapturableSoundWave();
	
	// Start capturing audio
	PixelStreamingSoundWave->StartCapture(0);
	
	// Play the sound wave to hear the captured audio
	UGameplayStatics::PlaySound2D(GetWorld(), PixelStreamingSoundWave);
	
	// Set up a timer to stop capture after 30 seconds (just for demonstration)
	FTimerHandle TimerHandle;
	GetWorld()->GetTimerManager().SetTimer(TimerHandle, [this]()
	{
		PixelStreamingSoundWave->StopCapture();
	}, 30.0f, false);
}

Çoklu Pixel Streaming Oyuncularıyla Çalışma

Aynı anda birden fazla Pixel Streaming istemcisinin bağlı olduğu senaryolarda, belirli oyunculardan ses yakalamanız gerekebilir. Aşağıdaki özellikler bunu yönetmenize yardımcı olur.

Mevcut Pixel Streaming Oyuncularını Alma

Hangi Pixel Streaming oyuncularının bağlı olduğunu belirlemek için:

Pixel Streaming

Blueprint

C++

UPixelStreamingCapturableSoundWave::GetAvailablePixelStreamingPlayers(FOnGetAvailablePixelStreamingPlayersResultNative::CreateWeakLambda(this, [](const TArray<FPixelStreamingPlayerInfo_RAI>& AvailablePlayers)
{
    // Handle the list of available players
    for (const FPixelStreamingPlayerInfo_RAI& PlayerInfo : AvailablePlayers)
    {
        UE_LOG(LogTemp, Log, TEXT("Available player: %s on streamer: %s"), *PlayerInfo.PlayerId, *PlayerInfo.StreamerId);
    }
}));

Pixel Streaming 2

Blueprint

Get Available Pixel Streaming 2 Players düğümünü kullanın

C++

UPixelStreaming2CapturableSoundWave::GetAvailablePixelStreaming2Players(FOnGetAvailablePixelStreaming2PlayersResultNative::CreateWeakLambda(this, [](const TArray<FPixelStreaming2PlayerInfo_RAI>& AvailablePlayers)
{
    // Handle the list of available players
    for (const FPixelStreaming2PlayerInfo_RAI& PlayerInfo : AvailablePlayers)
    {
        UE_LOG(LogTemp, Log, TEXT("Available player: %s on streamer: %s"), *PlayerInfo.PlayerId, *PlayerInfo.StreamerId);
    }
}));

Yakalamak İçin Oyuncuyu Ayarlama

Belirli bir oyuncudan yakalamanız gerektiğinde:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object
// and PlayerInfo is a FPixelStreamingPlayerInfo_RAI object from GetAvailablePixelStreamingPlayers

PixelStreamingSoundWave->PlayerInfo = PlayerInfo;

Pixel Streaming 2

Blueprint

Set Player To Capture From düğümünü, Pixel Streaming 2 Yakalanabilir Ses Dalganız ile kullanın

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object
// and PlayerInfo is a FPixelStreaming2PlayerInfo_RAI object from GetAvailablePixelStreaming2Players

PixelStreamingSoundWave->PlayerInfo = PlayerInfo;

bilgi

Eğer Oyuncu Kimliği'ni boş bırakırsanız, ses dalgası otomatik olarak bağlanan ilk mevcut oyuncuyu dinleyecektir. Bu varsayılan davranıştır ve tek oyunculu senaryolar için iyi çalışır.

Yaygın Kullanım Senaryoları

Sesli Sohbet Uygulaması

Pixel Streaming Yakalanabilir Ses Dalgalarını, uzak kullanıcılar ve yerel oyuncular arasında sesli sohbet uygulamak için kullanabilirsiniz:

1. Bağlı her oyuncu için bir Pixel Streaming Yakalanabilir Ses Dalgası oluşturun
2. Hangi oyuncuların şu anda konuştuğunu yönetmek için bir sistem kurun
3. Kullanıcıların ne zaman konuştuğunu tespit etmek için Ses Aktivitesi Tespiti sistemini kullanın
4. Gerekirse, Unreal Engine'in ses sistemi kullanılarak sesi mekansallaştırın

Konuşma Tanıma ile Sesli Komutlar

Bu özelliği Runtime Speech Recognizer eklentisi ile birleştirerek uzak kullanıcılar için sesli komut tanıma uygulayabilirsiniz:

1. Pixel Streaming Yakalanabilir Ses Dalgası kullanarak Pixel Streaming istemcilerinden ses yakalayın
2. Yakalanan sesi doğrudan Runtime Speech Recognizer'a besleyin
3. Tanınan metni oyun mantığınızda işleyin

Runtime Speech Recognizer örneklerindeki standart Yakalanabilir Ses Dalgasını bir Pixel Streaming Yakalanabilir Ses Dalgası (veya Pixel Streaming 2 Yakalanabilir Ses Dalgası) ile değiştirmeniz yeterlidir, böylece Pixel Streaming ses girişiyle sorunsuz çalışacaktır.

Uzak Kullanıcı Sesini Kaydetme

Uzak kullanıcılardan gelen sesi daha sonra oynatmak için kaydedebilirsiniz:

1. Pixel Streaming Yakalanabilir Ses Dalgası kullanarak ses yakalayın
2. Yakalanan sesi Ses Dışa Aktar kullanarak bir dosyaya aktarın
3. Dosyayı daha sonra kullanmak veya analiz etmek için kaydedin