التقاط الصوت في Pixel Streaming

Pixel Streaming هو إضافة لمحرك Unreal Engine تقوم ببث الإطارات المُصَورة وتزامن الإدخال/الإخراج عبر WebRTC. يعمل التطبيق على جانب الخادم، بينما يتعامل جانب العميل مع التصيير وتفاعل المستخدم. لمزيد من التفاصيل حول Pixel Streaming والإعداد، راجع توثيق Pixel Streaming.

Pixel Streaming مقابل Pixel Streaming 2

تدعم هذه الإضافة إصدارات Pixel Streaming المتاحة في Unreal Engine:

• Pixel Streaming - الإضافة الأصلية، المتاحة منذ UE 5.2 ولا تزال مستخدمة بنشاط في إصدارات المحرك الحالية
• Pixel Streaming 2 - تم تقديمها في UE 5.5 كتنفيذ من الجيل التالي بهيكل داخلي محسن. اعرف المزيد عن Pixel Streaming 2

كلا الإصدارين مدعومان بالكامل ومتاحان في أحدث إصدارات Unreal Engine (بما في ذلك UE 5.6). اختر الإصدار الذي يتطابق مع إعداد Pixel Streaming لمشروعك.

معلومات

واجهة برمجة التطبيقات API لكلا الإصدارين متطابقة، والفرق الوحيد هو أن فئات ووظائف Pixel Streaming 2 تتضمن الرقم "2" في أسمائها (على سبيل المثال، UPixelStreamingCapturableSoundWave مقابل UPixelStreaming2CapturableSoundWave).

التوافق

يعمل هذا الحل مع:

• البنية التحتية الرسمية لـ Pixel Streaming (التنفيذ المرجعي لـ Epic Games)
• مزودي Pixel Streaming من طرف ثالث بما في ذلك:
  • Vagon.io
  • Arcane Mirage
  • Eagle 3D Streaming
  • حلول بث أخرى قائمة على WebRTC
• أنظمة التشغيل: خوادم Windows و Linux

تم اختبار التنفيذ عبر هذه البيئات ويعمل بشكل صحيح بغض النظر عن حل استضافة Pixel Streaming المستخدم.

تثبيت إضافة الامتداد

يتم توفير هذه الميزة كامتداد لإضافة Runtime Audio Importer. لاستخدامها، تحتاج إلى:

1. التأكد من تثبيت إضافة Runtime Audio Importer مسبقًا في مشروعك
2. تنزيل إضافة الامتداد لإصدار Pixel Streaming الخاص بك:
   • Pixel Streaming: تنزيل من Google Drive
   • Pixel Streaming 2: تنزيل من Google Drive
3. استخراج المجلد من الأرشيف الذي تم تنزيله إلى مجلد Plugins في مشروعك (قم بإنشاء هذا المجلد إذا لم يكن موجودًا)
4. إعادة بناء مشروعك (يتطلب هذا الامتداد مشروعًا بلغة C++)

important

• هذه الإضافات مقدمة كشفرة مصدرية وتتطلب مشروع C++ لاستخدامها
• إضافة Pixel Streaming: مدعومة في UE 5.2 والإصدارات الأحدث
• إضافة Pixel Streaming 2: مدعومة في UE 5.5 والإصدارات الأحدث
• لمزيد من المعلومات حول كيفية بناء الإضافات يدويًا، راجع درس بناء الإضافات

نظرة عامة

يمتد Capturable Sound Wave الخاص بـ Pixel Streaming Capturable Sound Wave القياسي للسماح بالتقاط الصوت مباشرة من ميكروفونات عملاء Pixel Streaming. تتيح لك هذه الميزة:

• التقاط الصوت من المتصفحات المتصلة عبر Pixel Streaming
• معالجة الصوت من لاعبين/نظائر محددين
• تنفيذ الدردشة الصوتية، أو الأوامر الصوتية، أو تسجيل الصوت من المستخدمين البعيدين

الاستخدام الأساسي

إنشاء Capturable Sound Wave الخاص بـ Pixel Streaming

أولاً، تحتاج إلى إنشاء كائن Capturable Sound Wave الخاص بـ Pixel Streaming:

Pixel Streaming

Blueprint

C++

PixelStreamingSoundWave = UPixelStreamingCapturableSoundWave::CreatePixelStreamingCapturableSoundWave();

Pixel Streaming 2

Blueprint

استخدم عقدة Create Pixel Streaming 2 Capturable Sound Wave (نفس عقدة Pixel Streaming ولكن تحتوي على "2" في الاسم)

C++

PixelStreamingSoundWave = UPixelStreaming2CapturableSoundWave::CreatePixelStreaming2CapturableSoundWave();

warning

يجب أن تعامل موجة الصور القابلة للتسجيل في Pixel Streaming كمرجع قوي لمنع التدمير المبكر (على سبيل المثال، عن طريق تعيينه لمتغير منفصل في Blueprints أو استخدام UPROPERTY() في C++).

بدء وإيقاف التسجيل

يمكنك بدء وإيقاف تسجيل الصوت باستدعاءات دالة بسيطة:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object

// Start capturing audio (the device ID parameter is ignored for Pixel Streaming)
PixelStreamingSoundWave->StartCapture(0);

// Stop capturing audio
PixelStreamingSoundWave->StopCapture();

Pixel Streaming 2

Blueprint

استخدم نفس عُقد بدء الالتقاط و إيقاف الالتقاط مع موجة الصوت القابلة للالتقاط الخاصة بـ Pixel Streaming 2

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object

// Start capturing audio (the device ID parameter is ignored for Pixel Streaming 2)
PixelStreamingSoundWave->StartCapture(0);

// Stop capturing audio
PixelStreamingSoundWave->StopCapture();

ملاحظة

يتم تجاهل المعلمة DeviceId في StartCapture لموجات الصوت القابلة للتسجيل في Pixel Streaming، حيث يتم تحديد مصدر التسجيل تلقائيًا أو من خلال معلومات اللاعب التي قمت بتعيينها.

التحقق من حالة التسجيل

يمكنك التحقق مما إذا كانت موجة الصوت تقوم حاليًا بتسجيل الصوت:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object
bool bIsCapturing = PixelStreamingSoundWave->IsCapturing();

Pixel Streaming 2

Blueprint

استخدم نفس عقدة Is Capturing مع Capturable Sound Wave الخاص بك في Pixel Streaming 2

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object
bool bIsCapturing = PixelStreamingSoundWave->IsCapturing();

مثال كامل

إليك مثالاً كاملاً لكيفية إعداد التقاط الصوت في Pixel Streaming:

Pixel Streaming

Blueprint

C++

هذا مثال أساسي للكود لالتقاط بيانات الصوت من عميل Pixel Streaming.

يستخدم المثال الدالة CapturePixelStreamingAudioExample الموجودة في الفئة UPixelStreamingAudioExample داخل الوحدة EXAMPLEMODULE.

ملاحظة

لتشغيل المثال بنجاح، تأكد من إضافة كل من وحدتي RuntimeAudioImporter و PixelStreaming إلى إما PublicDependencyModuleNames أو PrivateDependencyModuleNames في ملف .Build.cs، وكذلك إلى ملف المشروع .uproject.

Header file (.h)

#pragma once

#include "CoreMinimal.h"
#include "UObject/Object.h"
#include "PixelStreamingAudioExample.generated.h"

UCLASS(BlueprintType)
class EXAMPLEMODULE_API UPixelStreamingAudioExample : public UObject
{
	GENERATED_BODY()

public:
	UFUNCTION(BlueprintCallable)
	void CapturePixelStreamingAudioExample();

private:
	// Keep a strong reference to prevent garbage collection
	UPROPERTY()
	class UPixelStreamingCapturableSoundWave* PixelStreamingSoundWave;
};

Source file (.cpp)

#include "PixelStreamingAudioExample.h"
#include "Sound/PixelStreamingCapturableSoundWave.h"
#include "Kismet/GameplayStatics.h"

void UPixelStreamingAudioExample::CapturePixelStreamingAudioExample()
{
	// Create a Pixel Streaming Capturable Sound Wave
	PixelStreamingSoundWave = UPixelStreamingCapturableSoundWave::CreatePixelStreamingCapturableSoundWave();
	
	// Start capturing audio
	PixelStreamingSoundWave->StartCapture(0);
	
	// Play the sound wave to hear the captured audio
	UGameplayStatics::PlaySound2D(GetWorld(), PixelStreamingSoundWave);
	
	// Set up a timer to stop capture after 30 seconds (just for demonstration)
	FTimerHandle TimerHandle;
	GetWorld()->GetTimerManager().SetTimer(TimerHandle, [this]()
	{
		PixelStreamingSoundWave->StopCapture();
	}, 30.0f, false);
}

Pixel Streaming 2

Blueprint

إعداد Blueprint مطابق لـ Pixel Streaming، لكن استخدم عقدة Create Pixel Streaming 2 Capturable Sound Wave بدلاً من ذلك

C++

هذا مثال أساسي للكود لالتقاط بيانات الصوت من عميل Pixel Streaming 2.

يستخدم المثال الدالة CapturePixelStreaming2AudioExample الموجودة في الفئة UPixelStreaming2AudioExample داخل الوحدة EXAMPLEMODULE.

ملاحظة

لتشغيل المثال بنجاح، تأكد من إضافة كل من وحدتي RuntimeAudioImporter و PixelStreaming2 إلى إما PublicDependencyModuleNames أو PrivateDependencyModuleNames في ملف .Build.cs، وكذلك إلى ملف المشروع .uproject.

Header file (.h)

#pragma once

#include "CoreMinimal.h"
#include "UObject/Object.h"
#include "PixelStreaming2AudioExample.generated.h"

UCLASS(BlueprintType)
class EXAMPLEMODULE_API UPixelStreaming2AudioExample : public UObject
{
	GENERATED_BODY()

public:
	UFUNCTION(BlueprintCallable)
	void CapturePixelStreaming2AudioExample();

private:
	// Keep a strong reference to prevent garbage collection
	UPROPERTY()
	class UPixelStreaming2CapturableSoundWave* PixelStreamingSoundWave;
};

Source file (.cpp)

#include "PixelStreaming2AudioExample.h"
#include "Sound/PixelStreaming2CapturableSoundWave.h"
#include "Kismet/GameplayStatics.h"

void UPixelStreaming2AudioExample::CapturePixelStreaming2AudioExample()
{
	// Create a Pixel Streaming 2 Capturable Sound Wave
	PixelStreamingSoundWave = UPixelStreaming2CapturableSoundWave::CreatePixelStreaming2CapturableSoundWave();
	
	// Start capturing audio
	PixelStreamingSoundWave->StartCapture(0);
	
	// Play the sound wave to hear the captured audio
	UGameplayStatics::PlaySound2D(GetWorld(), PixelStreamingSoundWave);
	
	// Set up a timer to stop capture after 30 seconds (just for demonstration)
	FTimerHandle TimerHandle;
	GetWorld()->GetTimerManager().SetTimer(TimerHandle, [this]()
	{
		PixelStreamingSoundWave->StopCapture();
	}, 30.0f, false);
}

العمل مع مشغلات البث البكسي المتعددة

في السيناريوهات التي يكون لديك فيها عدة عملاء للبث البكسي متصلين في وقت واحد، قد تحتاج إلى التقاط الصوت من مشغلات محددة. الميزات التالية تساعدك في إدارة هذا.

الحصول على مشغلات البث البكسي المتاحة

لتحديد أي مشغلات البث البكسي متصلة:

Pixel Streaming

Blueprint

C++

UPixelStreamingCapturableSoundWave::GetAvailablePixelStreamingPlayers(FOnGetAvailablePixelStreamingPlayersResultNative::CreateWeakLambda(this, [](const TArray<FPixelStreamingPlayerInfo_RAI>& AvailablePlayers)
{
    // Handle the list of available players
    for (const FPixelStreamingPlayerInfo_RAI& PlayerInfo : AvailablePlayers)
    {
        UE_LOG(LogTemp, Log, TEXT("Available player: %s on streamer: %s"), *PlayerInfo.PlayerId, *PlayerInfo.StreamerId);
    }
}));

Pixel Streaming 2

Blueprint

استخدم عقدة Get Available Pixel Streaming 2 Players

C++

UPixelStreaming2CapturableSoundWave::GetAvailablePixelStreaming2Players(FOnGetAvailablePixelStreaming2PlayersResultNative::CreateWeakLambda(this, [](const TArray<FPixelStreaming2PlayerInfo_RAI>& AvailablePlayers)
{
    // Handle the list of available players
    for (const FPixelStreaming2PlayerInfo_RAI& PlayerInfo : AvailablePlayers)
    {
        UE_LOG(LogTemp, Log, TEXT("Available player: %s on streamer: %s"), *PlayerInfo.PlayerId, *PlayerInfo.StreamerId);
    }
}));

تعيين اللاعب للالتقاط منه

عندما تحتاج إلى الالتقاط من لاعب محدد:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object
// and PlayerInfo is a FPixelStreamingPlayerInfo_RAI object from GetAvailablePixelStreamingPlayers

PixelStreamingSoundWave->PlayerInfo = PlayerInfo;

Pixel Streaming 2

Blueprint

استخدم عقدة Set Player To Capture From مع Capturable Sound Wave الخاص بـ Pixel Streaming 2

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object
// and PlayerInfo is a FPixelStreaming2PlayerInfo_RAI object from GetAvailablePixelStreaming2Players

PixelStreamingSoundWave->PlayerInfo = PlayerInfo;

معلومات

إذا تركت معرف اللاعب فارغًا، فسيستمع شكل الموجة الصوتية تلقائيًا إلى أول لاعب متاح يتصل. هذا هو السلوك الافتراضي ويعمل بشكل جيد في سيناريوهات اللاعب الفردي.

حالات الاستخدام الشائعة

تنفيذ الدردشة الصوتية

يمكنك استخدام أشكال الموجة الصوتية القابلة للتسليم عبر Pixel Streaming لتنفيذ دردشة صوتية بين المستخدمين البعيدين واللاعبين المحليين:

1. قم بإنشاء شكل موجة صوتية قابلة للتسليم عبر Pixel Streaming لكل لاعب متصل
2. قم بإعداد نظام لإدارة اللاعبين الذين يتحدثون حاليًا
3. استخدم نظام كشف النشاط الصوتي للكشف عن وقت تحدث المستخدمين
4. قم بتحديد مكان الصوت باستخدام نظام الصوت في Unreal Engine إذا لزم الأمر

الأوامر الصوتية مع التعرف على الكلام

يمكنك تنفيذ التعرف على الأوامر الصوتية للمستخدمين البعيدين من خلال الجمع بين هذه الميزة والإضافة Runtime Speech Recognizer:

1. قم بتسجيل الصوت من عملاء Pixel Streaming باستخدام شكل الموجة الصوتية القابلة للتسليم عبر Pixel Streaming
2. قم بتغذية الصوت المسجل مباشرة إلى Runtime Speech Recognizer
3. قم بمعالجة النص المعترف به في منطق لعبتك

ما عليك سوى استبدال شكل الموجة الصوتية القابلة للتسجيل القياسي بشكل الموجة الصوتية القابلة للتسليم عبر Pixel Streaming (أو Pixel Streaming 2 Capturable Sound Wave) في أمثلة Runtime Speech Recognizer، وسيعمل بسلاسة مع إدخال الصوت من Pixel Streaming.

تسجيل صوت المستخدم البعيد

يمكنك تسجيل الصوت من المستخدمين البعيدين للتشغيل لاحقًا:

1. قم بتسجيل الصوت باستخدام شكل الموجة الصوتية القابلة للتسليم عبر Pixel Streaming
2. قم بتصدير الصوت المسجل إلى ملف باستخدام تصدير الصوت
3. احفظ الملف للاستخدام أو التحليل لاحقًا