Guida all'Elaborazione Audio

Questa guida spiega come configurare diversi metodi di input audio per fornire dati audio ai tuoi generatori di lip sync. Assicurati di aver completato la Guida di Configurazione prima di procedere.

Elaborazione dell'Input Audio

Devi configurare un metodo per elaborare l'input audio. Ci sono diversi modi per farlo a seconda della tua sorgente audio.

Microfono (Tempo reale)

Questo approccio esegue il lip sync in tempo reale mentre si parla nel microfono:

Modello Standard

1. Crea una Capturable Sound Wave utilizzando Runtime Audio Importer
   • Per Linux con Pixel Streaming, usa invece Pixel Streaming Capturable Sound Wave
2. Prima di iniziare a catturare l'audio, collega il delegato OnPopulateAudioData
3. Nella funzione collegata, chiama ProcessAudioData dal tuo Runtime Viseme Generator
4. Inizia a catturare l'audio dal microfono

Nodi copiabili.

Modello Realistico

Il Modello Realistico utilizza lo stesso flusso di lavoro di elaborazione audio del Modello Standard, ma con la variabile RealisticLipSyncGenerator invece di VisemeGenerator.

Nodi copiabili.

Modello Realistico con Mood

Il Modello con Mood utilizza lo stesso flusso di lavoro di elaborazione audio, ma con la variabile MoodMetaHumanLipSyncGenerator e capacità aggiuntive di configurazione del mood.

Nodi copiabili.

Microfono (Riproduzione)

Questo approccio cattura l'audio da un microfono, poi lo riproduce con lip sync:

Modello Standard

1. Crea una Capturable Sound Wave utilizzando Runtime Audio Importer
   • Per Linux con Pixel Streaming, usa invece Pixel Streaming Capturable Sound Wave
2. Inizia la cattura audio dal microfono
3. Prima di riprodurre la capturable sound wave, collega il suo delegato OnGeneratePCMData
4. Nella funzione collegata, chiama ProcessAudioData dal tuo Runtime Viseme Generator

Nodi copiabili.

Modello Realistico

Il Modello Realistico utilizza lo stesso flusso di lavoro di elaborazione audio del Modello Standard, ma con la variabile RealisticLipSyncGenerator invece di VisemeGenerator.

Nodi copiabili.

Modello Realistico con Mood

Il Modello con Mood utilizza lo stesso flusso di lavoro di elaborazione audio, ma con la variabile MoodMetaHumanLipSyncGenerator e capacità aggiuntive di configurazione del mood.

Nodi copiabili.

Text-to-Speech (Locale)

Regolare

Questo approccio sintetizza il parlato dal testo utilizzando TTS locale ed esegue il lip sync:

Modello Standard

1. Usa Runtime Text To Speech per generare parlato dal testo
2. Usa Runtime Audio Importer per importare l'audio sintetizzato
3. Prima di riprodurre la sound wave importata, collega il suo delegato OnGeneratePCMData
4. Nella funzione collegata, chiama ProcessAudioData dal tuo Runtime Viseme Generator

Nodi copiabili.

Modello Realistico

Il Modello Realistico utilizza lo stesso flusso di lavoro di elaborazione audio del Modello Standard, ma con la variabile RealisticLipSyncGenerator invece di VisemeGenerator.

Nodi copiabili.

Modello Realistico con Mood

Il Modello con Mood utilizza lo stesso flusso di lavoro di elaborazione audio, ma con la variabile MoodMetaHumanLipSyncGenerator e capacità aggiuntive di configurazione del mood.

Nodi copiabili.

Streaming

Questo approccio utilizza la sintesi text-to-speech in streaming con lip sync in tempo reale:

Modello Standard

1. Usa Runtime Text To Speech per generare parlato in streaming dal testo
2. Usa Runtime Audio Importer per importare l'audio sintetizzato
3. Prima di riprodurre la sound wave in streaming, collega il suo delegato OnGeneratePCMData
4. Nella funzione collegata, chiama ProcessAudioData dal tuo Runtime Viseme Generator

Nodi copiabili.

Modello Realistico

Il Modello Realistico utilizza lo stesso flusso di lavoro di elaborazione audio del Modello Standard, ma con la variabile RealisticLipSyncGenerator invece di VisemeGenerator.

Nodi copiabili.

Modello Realistico con Mood

Il Modello con Mood utilizza lo stesso flusso di lavoro di elaborazione audio, ma con la variabile MoodMetaHumanLipSyncGenerator e capacità aggiuntive di configurazione del mood.

Nodi copiabili.

Text-to-Speech (API Esterne)

Regolare

Questo approccio utilizza il plugin Runtime AI Chatbot Integrator per generare parlato sintetizzato da servizi AI (OpenAI o ElevenLabs) ed eseguire il lip sync:

Modello Standard

1. Usa Runtime AI Chatbot Integrator per generare parlato dal testo utilizzando API esterne (OpenAI, ElevenLabs, ecc.)
2. Usa Runtime Audio Importer per importare i dati audio sintetizzati
3. Prima di riprodurre la sound wave importata, collega il suo delegato OnGeneratePCMData
4. Nella funzione collegata, chiama ProcessAudioData dal tuo Runtime Viseme Generator

Nodi copiabili.

Modello Realistico

Il Modello Realistico utilizza lo stesso flusso di lavoro di elaborazione audio del Modello Standard, ma con la variabile RealisticLipSyncGenerator invece di VisemeGenerator.

Nodi copiabili.

Modello Realistico con Mood

Il Modello con Mood utilizza lo stesso flusso di lavoro di elaborazione audio, ma con la variabile MoodMetaHumanLipSyncGenerator e capacità aggiuntive di configurazione del mood.

Nodi copiabili.

Streaming

Questo approccio utilizza il plugin Runtime AI Chatbot Integrator per generare parlato sintetizzato in streaming da servizi AI (OpenAI o ElevenLabs) ed eseguire il lip sync:

Modello Standard

1. Usa Runtime AI Chatbot Integrator per connettersi a API TTS in streaming (come ElevenLabs Streaming API)
2. Usa Runtime Audio Importer per importare i dati audio sintetizzati
3. Prima di riprodurre la sound wave in streaming, collega il suo delegato OnGeneratePCMData
4. Nella funzione collegata, chiama ProcessAudioData dal tuo Runtime Viseme Generator

Nodi copiabili.

Modello Realistico

Il Modello Realistico utilizza lo stesso flusso di lavoro di elaborazione audio del Modello Standard, ma con la variabile RealisticLipSyncGenerator invece di VisemeGenerator.

Nodi copiabili.

Modello Realistico con Mood

Il Modello con Mood utilizza lo stesso flusso di lavoro di elaborazione audio, ma con la variabile MoodMetaHumanLipSyncGenerator e capacità aggiuntive di configurazione del mood.

Nodi copiabili.

Da File/Buffer Audio

Questo approccio utilizza file audio preregistrati o buffer audio per il lip sync:

Modello Standard

1. Usa Runtime Audio Importer per importare un file audio dal disco o dalla memoria
2. Prima di riprodurre la sound wave importata, collega il suo delegato OnGeneratePCMData
3. Nella funzione collegata, chiama ProcessAudioData dal tuo Runtime Viseme Generator
4. Riproduci la sound wave importata e osserva l'animazione del lip sync

Nodi copiabili.

Modello Realistico

Il Modello Realistico utilizza lo stesso flusso di lavoro di elaborazione audio del Modello Standard, ma con la variabile RealisticLipSyncGenerator invece di VisemeGenerator.

Nodi copiabili.

Modello Realistico con Mood

Il Modello con Mood utilizza lo stesso flusso di lavoro di elaborazione audio, ma con la variabile MoodMetaHumanLipSyncGenerator e capacità aggiuntive di configurazione del mood.

Nodi copiabili.

Buffer Audio in Streaming

Per dati audio in streaming da un buffer, hai bisogno di:

Modello Standard

1. Dati audio in formato PCM float (un array di campioni in virgola mobile) disponibili dalla tua sorgente in streaming (o usa Runtime Audio Importer per supportare più formati)
2. La frequenza di campionamento e il numero di canali
3. Chiama ProcessAudioData dal tuo Runtime Viseme Generator con questi parametri man mano che i chunk audio diventano disponibili

Nodi copiabili.

Modello Realistico

Il Modello Realistico utilizza lo stesso flusso di lavoro di elaborazione audio del Modello Standard, ma con la variabile RealisticLipSyncGenerator invece di VisemeGenerator.

Nodi copiabili.

Modello Realistico con Mood

Il Modello con Mood utilizza lo stesso flusso di lavoro di elaborazione audio, ma con la variabile MoodMetaHumanLipSyncGenerator e capacità aggiuntive di configurazione del mood.

Nodi copiabili.

Nota: Quando si utilizzano sorgenti audio in streaming, assicurati di gestire appropriatamente i tempi di riproduzione audio per evitare riproduzioni distorte. Vedi la documentazione di Streaming Sound Wave per maggiori informazioni.

Suggerimenti per le Prestazioni di Elaborazione

• Dimensione del Chunk: Aumentare l'opzione di configurazione ProcessingChunkSize configuration option (es. a 320, 480, o 640 campioni) può migliorare notevolmente la latenza con un impatto minimo sulla qualità o sulla reattività.

• Tipo di Modello: Quando si utilizzano modelli Realistic, passare al tipo di modello Altamente Ottimizzato (selezionato di default) può migliorare le prestazioni. Nota che il modello originale può produrre una qualità leggermente migliore, specialmente con audio rumoroso.

• Gestione del Buffer: Il modello con mood elabora l'audio in frame da 320 campioni (20ms a 16kHz). Assicurati che la tempistica del tuo input audio sia allineata a questo per prestazioni ottimali.

• Ricreazione del Generatore: Per un funzionamento affidabile con i modelli Realistic, ricrea il generatore ogni volta che vuoi fornire nuovi dati audio dopo un periodo di inattività.

Prossimi Passi

Una volta configurata l'elaborazione audio, potresti voler:

• Informarti sulle opzioni di Configurazione per ottimizzare il comportamento del tuo lip sync
• Aggiungere animazione della risata per una maggiore espressività
• Combinare il lip sync con animazioni facciali esistenti utilizzando le tecniche di stratificazione descritte nella guida di Configurazione