Streaming Sound Wave

Un streaming sound wave es un tipo de sonido importado que admite agregar datos de audio dinámicamente, incluso durante la reproducción. Ofrece la misma funcionalidad que un sonido importado, por ejemplo, rebobinado, y se puede usar en SoundCues, etc.

tip

Para la detección de actividad de voz (VAD), consulta esta página.

Crear un streaming sound wave

Primero debes crear un streaming sound wave. Ten en cuenta que debes tratarlo como una referencia fuerte para evitar su destrucción prematura (por ejemplo, asignándolo a una variable separada en Blueprints o usando UPROPERTY() en C++).

Blueprint

C++

UStreamingSoundWave* StreamingSoundWave = UStreamingSoundWave::CreateStreamingSoundWave();

Reproduciendo la onda de sonido

Luego puedes reproducir esa onda de sonido. Sin embargo, no es necesario hacerlo ahora, puedes comenzar a reproducir la onda de sonido más tarde.

Pre-asignación de datos de audio

Opcionalmente, puedes pre-asignar datos de audio (bytes) para evitar reasignar todo el búfer PCM cada vez que se añaden nuevos datos de audio.

Blueprint

C++

// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)
StreamingSoundWave->PreAllocateAudioData(12582912, FOnPreAllocateAudioDataResultNative::CreateWeakLambda(this, [StreamingSoundWave](bool bSucceeded)
{
	// Handle the result
}));

Añadir datos de audio

Para añadir datos de audio al final del búfer existente, utiliza las funciones apropiadas para añadir datos de audio dinámicamente. La reproducción seguirá la secuencia de cola de estas adiciones.

Blueprint

C++

// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)

// Example of appending encoded audio data
TArray<uint8> AudioData = ...; // Fill with audio data
StreamingSoundWave->AppendAudioDataFromEncoded(AudioData, ERuntimeAudioFormat::Auto);

// Or, if you have raw audio data
TArray<uint8> RawAudioData = ...; // Fill with raw audio data
StreamingSoundWave->AppendAudioDataFromRAW(RawAudioData, ERuntimeRAWAudioFormat::Float32, 44100, 2);

Evitar la reproducción de audio acelerada o distorsionada

Al transmitir datos de audio mientras la onda de sonido se está reproduciendo, puedes experimentar una reproducción de audio acelerada o distorsionada en escenarios específicos. Este problema suele ocurrir cuando:

1. La reproducción de la onda de sonido está cerca/al final del búfer actual
2. Se están encolando continuamente nuevos datos de audio en la onda de sonido de streaming
3. La reproducción alcanza al flujo de datos entrante

Puedes dejar de poblar datos de audio en cualquier momento sin problemas. Sin embargo, para escenarios donde necesitas streaming continuo (como la transmisión de audio en tiempo real), hay dos enfoques dependiendo de la fiabilidad de tu flujo de datos de audio:

Para streaming fiable y consistente: Utiliza el delegado OnPopulateAudioState para iniciar la reproducción inmediatamente después de recibir el primer fragmento.

Para streaming no fiable (problemas de red, datos intermitentes): Añade un retraso adicional incluso después de que se active OnPopulateAudioState para acumular un búfer más grande antes de iniciar la reproducción.

Blueprint

C++

// Approach 1: For reliable streaming - start immediately after first chunk
bool bHasStartedPlayback = false;

StreamingSoundWave->OnPopulateAudioStateNative.AddWeakLambda(this, [this, &bHasStartedPlayback]()
{
    if (!bHasStartedPlayback)
    {
        UGameplayStatics::PlaySound2D(GetWorld(), StreamingSoundWave);
        bHasStartedPlayback = true;
    }
});

// Approach 2: For unreliable streaming - add delay after first chunk
bool bHasStartedPlayback = false;

StreamingSoundWave->OnPopulateAudioStateNative.AddWeakLambda(this, [this, &bHasStartedPlayback]()
{
    if (!bHasStartedPlayback)
    {
        // Add delay to build up buffer for unreliable streaming
        GetWorld()->GetTimerManager().SetTimer(PlaybackDelayTimer, [this]()
        {
            UGameplayStatics::PlaySound2D(GetWorld(), StreamingSoundWave);
        }, 0.5f, false); // Half-second delay
        
        bHasStartedPlayback = true;
    }
});

Nota: Puedes dejar de poblar datos de audio en cualquier momento sin causar problemas de reproducción. El enfoque exacto depende de la fiabilidad de tu transmisión de datos de audio: usa reproducción inmediata para transmisiones consistentes, o añade un retraso de buffer adicional para transmisiones poco fiables (por ejemplo, problemas de conectividad de red).

Ejemplo de uso

Finalmente, tu implementación podría verse así:

Blueprint

C++

Este es un ejemplo de código básico para añadir datos de audio a una onda de sonido de streaming.

El ejemplo utiliza la función AppendAudioExample ubicada en la clase UAppendAudioClassExample dentro del módulo EXAMPLEMODULE.

Nota: Para ejecutar el ejemplo con éxito, asegúrate de añadir el módulo RuntimeAudioImporter a PublicDependencyModuleNames o PrivateDependencyModuleNames en el archivo .Build.cs, así como al archivo .uproject de tu proyecto.

Header file (.h)

#pragma once

#include "CoreMinimal.h"
#include "UObject/Object.h"
#include "AppendAudioClassExample.generated.h"

UCLASS(BlueprintType)
class EXAMPLEMODULE_API UAppendAudioClassExample : public UObject
{
	GENERATED_BODY()

public:
	UFUNCTION(BlueprintCallable)
	void AppendAudioExample();

private:
	// Please pay attention to making the StreamingSoundWave a hard reference, such as using UPROPERTY(), to prevent it from being prematurely garbage collected
	UPROPERTY()
	class UStreamingSoundWave* StreamingSoundWave;
};

Source file (.cpp)

#include "AppendAudioClassExample.h"
#include "Sound/StreamingSoundWave.h"

void UAppendAudioClassExample::AppendAudioExample()
{
    // Create a streaming sound wave
	StreamingSoundWave = UStreamingSoundWave::CreateStreamingSoundWave();

	// Append audio data
	TArray<uint8> StreamedAudioDataToAdd = ...; // Fill with audio data
	StreamingSoundWave->AppendAudioDataFromEncoded(StreamedAudioDataToAdd, ERuntimeAudioFormat::Auto);

	// Play the sound wave
	UGameplayStatics::PlaySound2D(GetWorld(), StreamingSoundWave);
}

On Populate Audio State

El delegado OnPopulateAudioState funciona de manera similar a OnPopulateAudioData pero no transmite los datos de audio poblados. Esto puede ser útil cuando se desea rastrear cuándo se han poblado los datos de audio sin pasar un arreglo de dichos datos, lo que puede mejorar el rendimiento.

Blueprint

C++

// Assuming StreamingSoundWave is a UE reference to a UStreamingSoundWave object (or its derived type, such as UCapturableSoundWave)

StreamingSoundWave->OnPopulateAudioStateNative.AddWeakLambda(this, [this]()
{
    // Handle the result
});

Trabajando con Datos PCM

Para acceder en tiempo real a los datos PCM durante la reproducción, consulta Manejo de Datos PCM.