Потоковая звуковая волна

Для обнаружения голосовой активности (VAD) обратитесь к этой странице.

Потоковая звуковая волна — это тип импортированной звуковой волны, который поддерживает динамическое добавление аудиоданных даже во время воспроизведения. Она предоставляет ту же функциональность, что и импортированная звуковая волна, например, перемотку назад, и может использоваться в SoundCues и т.д.

Создание потоковой звуковой волны

Сначала вам следует создать потоковую звуковую волну. Обратите внимание, что вы должны рассматривать ее как сильную ссылку, чтобы предотвратить преждевременное уничтожение (например, присвоив ее отдельной переменной в Blueprints или используя UPROPERTY() в C++).

Blueprint

C++

UStreamingSoundWave* StreamingSoundWave = UStreamingSoundWave::CreateStreamingSoundWave();

Воспроизведение звуковой волны

Затем вы можете воспроизвести эту звуковую волну. Однако это не обязательно делать сразу, вы можете начать воспроизведение звуковой волны позже.

Предварительное выделение аудиоданных

Опционально, вы можете предварительно выделить аудиоданные (байты), чтобы избежать перераспределения всего буфера PCM каждый раз, когда добавляются новые аудиоданные.

Blueprint

C++

// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)
StreamingSoundWave->PreAllocateAudioData(12582912, FOnPreAllocateAudioDataResultNative::CreateWeakLambda(this, [StreamingSoundWave](bool bSucceeded)
{
	// Handle the result
}));

Добавление аудиоданных

Чтобы добавить аудиоданные в конец существующего буфера, используйте соответствующие функции для динамического добавления аудиоданных. Воспроизведение будет следовать последовательности в очереди этих добавлений.

Blueprint

C++

 // Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)

// Example of appending encoded audio data
TArray<uint8> AudioData = ...; // Fill with audio data
StreamingSoundWave->AppendAudioDataFromEncoded(AudioData, ERuntimeAudioFormat::Auto);

// Or, if you have raw audio data
TArray<uint8> RawAudioData = ...; // Fill with raw audio data
StreamingSoundWave->AppendAudioDataFromRAW(RawAudioData, ERuntimeRAWAudioFormat::Float32, 44100, 2);

Избегание ускоренного воспроизведения аудио

Часто, когда необходимо передавать аудиоданные и воспроизводить их одновременно, следует добавить небольшую задержку перед воспроизведением, чтобы избежать ускоренного звучания из-за слишком быстрого наполнения буфера. Обычно рекомендуется задержка около полсекунды.

Пример использования

В итоге, ваша реализация может выглядеть следующим образом:

Blueprint

C++

Это базовый пример кода для добавления аудиоданных в потоковую звуковую волну.

Пример использует функцию AppendAudioExample, расположенную в классе UAppendAudioClassExample внутри модуля EXAMPLEMODULE.

Примечание: чтобы успешно запустить пример, убедитесь, что модуль RuntimeAudioImporter добавлен либо в PublicDependencyModuleNames, либо в PrivateDependencyModuleNames в файле .Build.cs, а также в файл .uproject вашего проекта.

Header file (.h)

#pragma once

#include "CoreMinimal.h"
#include "UObject/Object.h"
#include "AppendAudioClassExample.generated.h"

UCLASS(BlueprintType)
class EXAMPLEMODULE_API UAppendAudioClassExample : public UObject
{
	GENERATED_BODY()

public:
	UFUNCTION(BlueprintCallable)
	void AppendAudioExample();

private:
	// Please pay attention to making the StreamingSoundWave a hard reference, such as using UPROPERTY(), to prevent it from being prematurely garbage collected
	UPROPERTY()
	class UStreamingSoundWave* StreamingSoundWave;
};

Source file (.cpp)

#include "AppendAudioClassExample.h"
#include "Sound/StreamingSoundWave.h"

void UAppendAudioClassExample::AppendAudioExample()
{
    // Create a streaming sound wave
	StreamingSoundWave = UStreamingSoundWave::CreateStreamingSoundWave();

    // Append audio data
    TArray<uint8> StreamedAudioDataToAdd = ...; // Fill with audio data
    StreamingSoundWave->AppendAudioDataFromEncoded(StreamedAudioDataToAdd, ERuntimeAudioFormat::Auto);

    // Play the sound wave
    UGameplayStatics::PlaySound2D(GetWorld(), StreamingSoundWave);
}