التقاط الصوت عبر بيكسل ستريمينغ

بيكسل ستريمينغ هو إضافة لمحرك أنريل إنجن تقوم ببث الإطارات المُصورة وتزامن الإدخال/الإخراج عبر WebRTC. يعمل التطبيق على جانب الخادم، بينما يتعامل جانب العميل مع التصيير وتفاعل المستخدم. لمزيد من التفاصيل حول بيكسل ستريمينغ والإعداد، راجع توثيق بيكسل ستريمينغ.

بيكسل ستريمينغ مقابل بيكسل ستريمينغ 2

تدعم هذه الإضافة كلا إصدارَي بيكسل ستريمينغ المتاحين في محرك أنريل إنجن:

• بيكسل ستريمينغ - الإضافة الأصلية، المتاحة منذ UE 5.2 ولا تزال مستخدمة بنشاط في إصدارات المحرك الحالية
• بيكسل ستريمينغ 2 - أُدخلت في UE 5.5 كتنفيذ من الجيل التالي بهيكل داخلي محسّن. تعرّف على المزيد حول بيكسل ستريمينغ 2

كلا الإصدارين مدعومان بالكامل ومتاحان في أحدث إصدارات محرك أنريل إنجن. اختر الإصدار الذي يتطابق مع إعداد بيكسل ستريمينغ في مشروعك.

معلومات

واجهة برمجة التطبيقات (API) لكلا الإصدارين متطابقة، والفرق الوحيد هو أن فئات ووظائف بيكسل ستريمينغ 2 تتضمن الرقم "2" في أسمائها (مثل UPixelStreamingCapturableSoundWave مقابل UPixelStreaming2CapturableSoundWave).

التوافق

يعمل هذا الحل مع:

• بنية بيكسل ستريمينغ الرسمية (التنفيذ المرجعي من Epic Games)
• مزوّدي بيكسل ستريمينغ من طرف ثالث بما في ذلك:
  • Vagon.io
  • Arcane Mirage
  • Eagle 3D Streaming
  • حلول بث أخرى قائمة على WebRTC
• أنظمة التشغيل: خوادم Windows وLinux

تم اختبار التنفيذ عبر هذه البيئات ويعمل بشكل صحيح بغض النظر عن حل استضافة بيكسل ستريمينغ المستخدم.

تثبيت إضافة الامتداد

توفّر هذه الميزة كامتداد لإضافة Runtime Audio Importer. لاستخدامها، تحتاج إلى:

1. التأكد من تثبيت إضافة Runtime Audio Importer بالفعل في مشروعك
2. تنزيل إضافة الامتداد لإصدار بيكسل ستريمينغ الخاص بك:
   • بيكسل ستريمينغ: تنزيل
   • بيكسل ستريمينغ 2: تنزيل
3. استخراج المجلد من الأرشيف المُنزّل إلى مجلد Plugins في مشروعك (أنشئ هذا المجلد إذا لم يكن موجودًا)
4. إعادة بناء مشروعك (يتطلب هذا الامتداد مشروعًا بلغة C++)

important

• يتم توفير هذه الامتدادات كشفرة مصدرية وتتطلب مشروعًا بلغة C++ لاستخدامها
• امتداد بيكسل ستريمينغ: مدعوم في UE 5.2 والإصدارات الأحدث
• امتداد بيكسل ستريمينغ 2: مدعوم في UE 5.5 والإصدارات الأحدث
• لمزيد من المعلومات حول كيفية بناء الإضافات يدويًا، راجع درس بناء الإضافات

نظرة عامة

يمتد موجة الصوت القابلة للالتقاط لبيكسل ستريمينغ من موجة الصوت القابلة للالتقاط القياسية للسماح بالتقاط الصوت مباشرة من ميكروفونات عملاء بيكسل ستريمينغ. تتيح لك هذه الميزة:

• التقاط الصوت من المتصفحات المتصلة عبر بيكسل ستريمينغ
• معالجة الصوت من لاعبين/نظائر محددين
• تنفيذ الدردشة الصوتية، أو الأوامر الصوتية، أو تسجيل الصوت من المستخدمين البعيدين

الاستخدام الأساسي

إنشاء موجة صوت قابلة للالتقاط لبيكسل ستريمينغ

أولاً، تحتاج إلى إنشاء كائن موجة صوت قابلة للالتقاط لبيكسل ستريمينغ:

Pixel Streaming

Blueprint

C++

PixelStreamingSoundWave = UPixelStreamingCapturableSoundWave::CreatePixelStreamingCapturableSoundWave();

Pixel Streaming 2

Blueprint

استخدم عقدة Create Pixel Streaming 2 Capturable Sound Wave (نفس عقدة Pixel Streaming ولكن مع إضافة "2" في الاسم)

C++

PixelStreamingSoundWave = UPixelStreaming2CapturableSoundWave::CreatePixelStreaming2CapturableSoundWave();

warning

يجب أن تعامل موجة الصوت القابلة للتسجيل في Pixel Streaming كمرجع قوي لمنع التدمير المبكر (على سبيل المثال، عن طريق تعيينه لمتغير منفصل في Blueprints أو استخدام UPROPERTY() في ++C).

بدء وإيقاف التسجيل

يمكنك بدء وإيقاف تسجيل الصوت باستدعاءات دالة بسيطة:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object

// Start capturing audio (the device ID parameter is ignored for Pixel Streaming)
PixelStreamingSoundWave->StartCapture(0);

// Stop capturing audio
PixelStreamingSoundWave->StopCapture();

Pixel Streaming 2

Blueprint

استخدم نفس عُقد Start Capture و Stop Capture مع Capturable Sound Wave الخاص بـ Pixel Streaming 2

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object

// Start capturing audio (the device ID parameter is ignored for Pixel Streaming 2)
PixelStreamingSoundWave->StartCapture(0);

// Stop capturing audio
PixelStreamingSoundWave->StopCapture();

ملاحظة

يتم تجاهل المعلمة DeviceId في StartCapture لموجات الصوت القابلة للتسجيل في Pixel Streaming، حيث يتم تحديد مصدر التسجيل تلقائيًا أو من خلال معلومات المشغل التي قمت بتعيينها.

التحقق من حالة التسجيل

يمكنك التحقق مما إذا كانت موجة الصوت تقوم حاليًا بتسجيل الصوت:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object
bool bIsCapturing = PixelStreamingSoundWave->IsCapturing();

Pixel Streaming 2

Blueprint

استخدم نفس عقدة Is Capturing مع موجة الصوت القابلة للتسجيل الخاصة بـ Pixel Streaming 2

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object
bool bIsCapturing = PixelStreamingSoundWave->IsCapturing();

مثال كامل

إليك مثالاً كاملاً لكيفية إعداد التقاط الصوت من Pixel Streaming:

Pixel Streaming

Blueprint

C++

هذا مثال أساسي للكود لالتقاط بيانات الصوت من عميل Pixel Streaming.

يستخدم المثال الدالة CapturePixelStreamingAudioExample الموجودة في الفئة UPixelStreamingAudioExample داخل الوحدة EXAMPLEMODULE.

ملاحظة

لتشغيل المثال بنجاح، تأكد من إضافة كل من وحدتي RuntimeAudioImporter و PixelStreaming إلى PublicDependencyModuleNames أو PrivateDependencyModuleNames في ملف .Build.cs، وكذلك إلى ملف المشروع .uproject.

Header file (.h)

#pragma once

#include "CoreMinimal.h"
#include "UObject/Object.h"
#include "PixelStreamingAudioExample.generated.h"

UCLASS(BlueprintType)
class EXAMPLEMODULE_API UPixelStreamingAudioExample : public UObject
{
	GENERATED_BODY()

public:
	UFUNCTION(BlueprintCallable)
	void CapturePixelStreamingAudioExample();

private:
	// Keep a strong reference to prevent garbage collection
	UPROPERTY()
	class UPixelStreamingCapturableSoundWave* PixelStreamingSoundWave;
};

Source file (.cpp)

#include "PixelStreamingAudioExample.h"
#include "Sound/PixelStreamingCapturableSoundWave.h"
#include "Kismet/GameplayStatics.h"

void UPixelStreamingAudioExample::CapturePixelStreamingAudioExample()
{
	// Create a Pixel Streaming Capturable Sound Wave
	PixelStreamingSoundWave = UPixelStreamingCapturableSoundWave::CreatePixelStreamingCapturableSoundWave();
	
	// Start capturing audio
	PixelStreamingSoundWave->StartCapture(0);
	
	// Play the sound wave to hear the captured audio
	UGameplayStatics::PlaySound2D(GetWorld(), PixelStreamingSoundWave);
	
	// Set up a timer to stop capture after 30 seconds (just for demonstration)
	FTimerHandle TimerHandle;
	GetWorld()->GetTimerManager().SetTimer(TimerHandle, [this]()
	{
		PixelStreamingSoundWave->StopCapture();
	}, 30.0f, false);
}

Pixel Streaming 2

Blueprint

إعداد Blueprint مطابق لـ Pixel Streaming، ولكن استخدم عقدة Create Pixel Streaming 2 Capturable Sound Wave بدلاً من ذلك

C++

هذا مثال أساسي لالتقاط بيانات الصوت من عميل Pixel Streaming 2.

يستخدم المثال الدالة CapturePixelStreaming2AudioExample الموجودة في الفئة UPixelStreaming2AudioExample داخل الوحدة EXAMPLEMODULE.

ملاحظة

لتشغيل المثال بنجاح، تأكد من إضافة وحدتي RuntimeAudioImporter و PixelStreaming2 إلى PublicDependencyModuleNames أو PrivateDependencyModuleNames في ملف .Build.cs، وكذلك إلى ملف المشروع .uproject.

Header file (.h)

#pragma once

#include "CoreMinimal.h"
#include "UObject/Object.h"
#include "PixelStreaming2AudioExample.generated.h"

UCLASS(BlueprintType)
class EXAMPLEMODULE_API UPixelStreaming2AudioExample : public UObject
{
	GENERATED_BODY()

public:
	UFUNCTION(BlueprintCallable)
	void CapturePixelStreaming2AudioExample();

private:
	// Keep a strong reference to prevent garbage collection
	UPROPERTY()
	class UPixelStreaming2CapturableSoundWave* PixelStreamingSoundWave;
};

Source file (.cpp)

#include "PixelStreaming2AudioExample.h"
#include "Sound/PixelStreaming2CapturableSoundWave.h"
#include "Kismet/GameplayStatics.h"

void UPixelStreaming2AudioExample::CapturePixelStreaming2AudioExample()
{
	// Create a Pixel Streaming 2 Capturable Sound Wave
	PixelStreamingSoundWave = UPixelStreaming2CapturableSoundWave::CreatePixelStreaming2CapturableSoundWave();
	
	// Start capturing audio
	PixelStreamingSoundWave->StartCapture(0);
	
	// Play the sound wave to hear the captured audio
	UGameplayStatics::PlaySound2D(GetWorld(), PixelStreamingSoundWave);
	
	// Set up a timer to stop capture after 30 seconds (just for demonstration)
	FTimerHandle TimerHandle;
	GetWorld()->GetTimerManager().SetTimer(TimerHandle, [this]()
	{
		PixelStreamingSoundWave->StopCapture();
	}, 30.0f, false);
}

العمل مع مشغلي Pixel Streaming المتعددين

في السيناريوهات التي يكون لديك فيها عدة عملاء Pixel Streaming متصلين في وقت واحد، قد تحتاج إلى التقاط الصوت من مشغليين محددين. تساعدك الميزات التالية في إدارة هذا.

الحصول على مشغلي Pixel Streaming المتاحين

لتحديد مشغلي Pixel Streaming المتصلين:

Pixel Streaming

Blueprint

C++

UPixelStreamingCapturableSoundWave::GetAvailablePixelStreamingPlayers(FOnGetAvailablePixelStreamingPlayersResultNative::CreateWeakLambda(this, [](const TArray<FPixelStreamingPlayerInfo_RAI>& AvailablePlayers)
{
    // Handle the list of available players
    for (const FPixelStreamingPlayerInfo_RAI& PlayerInfo : AvailablePlayers)
    {
        UE_LOG(LogTemp, Log, TEXT("Available player: %s on streamer: %s"), *PlayerInfo.PlayerId, *PlayerInfo.StreamerId);
    }
}));

Pixel Streaming 2

Blueprint

استخدم عقدة Get Available Pixel Streaming 2 Players

C++

UPixelStreaming2CapturableSoundWave::GetAvailablePixelStreaming2Players(FOnGetAvailablePixelStreaming2PlayersResultNative::CreateWeakLambda(this, [](const TArray<FPixelStreaming2PlayerInfo_RAI>& AvailablePlayers)
{
    // Handle the list of available players
    for (const FPixelStreaming2PlayerInfo_RAI& PlayerInfo : AvailablePlayers)
    {
        UE_LOG(LogTemp, Log, TEXT("Available player: %s on streamer: %s"), *PlayerInfo.PlayerId, *PlayerInfo.StreamerId);
    }
}));

تعيين اللاعب للالتقاط منه

عندما تحتاج إلى الالتقاط من لاعب محدد:

Pixel Streaming

Blueprint

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreamingCapturableSoundWave object
// and PlayerInfo is a FPixelStreamingPlayerInfo_RAI object from GetAvailablePixelStreamingPlayers

PixelStreamingSoundWave->PlayerInfo = PlayerInfo;

Pixel Streaming 2

Blueprint

استخدم عقدة Set Player To Capture From مع موجة الصوت القابلة للتسجيل الخاصة بـ Pixel Streaming 2

C++

// Assuming PixelStreamingSoundWave is a reference to a UPixelStreaming2CapturableSoundWave object
// and PlayerInfo is a FPixelStreaming2PlayerInfo_RAI object from GetAvailablePixelStreaming2Players

PixelStreamingSoundWave->PlayerInfo = PlayerInfo;

معلومات

إذا تركت معرف اللاعب (Player ID) فارغًا، فستستمع موجة الصوت تلقائيًا إلى أول لاعب متاح يتصل. هذا هو السلوك الافتراضي ويعمل بشكل جيد في سيناريوهات اللاعب الفردي.

حالات الاستخدام الشائعة

تنفيذ الدردشة الصوتية

يمكنك استخدام موجات الصوت القابلة للتسجيل لـ Pixel Streaming لتنفيذ دردشة صوتية بين المستخدمين البعيدين واللاعبين المحليين:

1. قم بإنشاء موجة صوت قابلة للتسجيل لـ Pixel Streaming لكل لاعب متصل
2. قم بإعداد نظام لإدارة اللاعبين الذين يتحدثون حاليًا
3. استخدم نظام كشف نشاط الصوت للكشف عن وقت تحدث المستخدمين
4. قم بتحديد مكان الصوت مكانيًا باستخدام نظام الصوت في Unreal Engine إذا لزم الأمر

الأوامر الصوتية مع التعرف على الكلام

يمكنك تنفيذ التعرف على الأوامر الصوتية للمستخدمين البعيدين من خلال دمج هذه الميزة مع ملحق Runtime Speech Recognizer:

1. قم بتسجيل الصوت من عملاء Pixel Streaming باستخدام موجة الصوت القابلة للتسجيل لـ Pixel Streaming
2. قم بتغذية الصوت المسجل مباشرة إلى Runtime Speech Recognizer
3. قم بمعالجة النص المعترف به في منطق لعبتك

ما عليك سوى استبدال موجة الصوت القابلة للتسجيل القياسية بموجة الصوت القابلة للتسجيل لـ Pixel Streaming (أو موجة الصوت القابلة للتسجيل لـ Pixel Streaming 2) في أمثلة Runtime Speech Recognizer، وستعمل بسلاسة مع إدخال الصوت من Pixel Streaming.

تسجيل صوت المستخدم البعيد

يمكنك تسجيل الصوت من المستخدمين البعيدين للتشغيل لاحقًا:

1. قم بتسجيل الصوت باستخدام موجة الصوت القابلة للتسجيل لـ Pixel Streaming
2. قم بتصدير الصوت المسجل إلى ملف باستخدام تصدير الصوت
3. احفظ الملف للاستخدام أو التحليل لاحقًا