Przewodnik przetwarzania audio

Ten przewodnik obejmuje konfigurację różnych metod wprowadzania audio w celu dostarczania danych audio do generatorów synchronizacji ust. Upewnij się, że ukończyłeś Przewodnik konfiguracji przed kontynuowaniem.

Przetwarzanie wejścia audio

Musisz skonfigurować metodę przetwarzania wejścia audio. Istnieje kilka sposobów w zależności od źródła audio.

Mikrofon (czas rzeczywisty)

To podejście wykonuje synchronizację ust w czasie rzeczywistym podczas mówienia do mikrofonu:

Model standardowy

1. Utwórz Capturable Sound Wave za pomocą Runtime Audio Importer
2. Przed rozpoczęciem przechwytywania audio, podłącz się do delegata OnPopulateAudioData
3. W powiązanej funkcji, wywołaj ProcessAudioData z twojego Runtime Viseme Generator
4. Rozpocznij przechwytywanie audio z mikrofonu

Węzły do skopiowania.

Model realistyczny

Model realistyczny używa tego samego przepływu pracy przetwarzania audio co model standardowy, ale ze zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Węzły do skopiowania.

Model realistyczny z obsługą nastroju

Model z obsługą nastroju używa tego samego przepływu pracy przetwarzania audio, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Węzły do skopiowania.

Mikrofon (Odtwarzanie)

To podejście przechwytuje dźwięk z mikrofonu, a następnie odtwarza go z synchronizacją ust:

Model Standardowy

1. Utwórz Capturable Sound Wave używając Runtime Audio Importer
2. Rozpocznij przechwytywanie dźwięku z mikrofonu
3. Przed odtworzeniem capturable sound wave, podłącz się do jego delegata OnGeneratePCMData
4. W powiązanej funkcji, wywołaj ProcessAudioData z twojego Runtime Viseme Generator

Węzły do skopiowania.

Model Realistyczny

Model Realistyczny używa tego samego przepływu pracy przetwarzania dźwięku co Model Standardowy, ale ze zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Węzły do skopiowania.

Model Realistyczny z Nastrojem

Model z Nastrojem używa tego samego przepływu pracy przetwarzania dźwięku, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Węzły do skopiowania.

Text-to-Speech (Lokalny)

Regularny

To podejście syntetyzuje mowę z tekstu przy użyciu lokalnego TTS i wykonuje synchronizację ust:

Model Standardowy

1. Użyj Runtime Text To Speech do wygenerowania mowy z tekstu
2. Użyj Runtime Audio Importer do zaimportowania zsyntetyzowanego dźwięku
3. Przed odtworzeniem zaimportowanej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W podłączonej funkcji, wywołaj ProcessAudioData z twojego Runtime Viseme Generator

Kopiowalne węzły.

Model Realistyczny

Kompatybilność lokalnego TTS

Lokalny TTS dostarczany przez wtyczkę Runtime Text To Speech nie jest obecnie obsługiwany z regularnym modelem Realistycznym z powodu konfliktów środowiska wykonawczego ONNX. Dla text-to-speech z regularnym modelem Realistycznym, rozważ użycie zewnętrznych rozwiązań TTS lub użyj zamiast tego modelu Standardowego.

Model Realistyczny z Obsługą Nastroju

1. Użyj Runtime Text To Speech do wygenerowania mowy z tekstu
2. Użyj Runtime Audio Importer do zaimportowania zsyntetyzowanego dźwięku
3. Przed odtworzeniem zaimportowanej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W podłączonej funkcji, wywołaj ProcessAudioData z twojego Mood-Enabled Lip Sync Generator
5. Skonfiguruj ustawienia nastroju na podstawie treści tekstu lub pożądanego wyrazu emocjonalnego

Kopiowalne węzły.

TTS z Integracją Nastroju:

• Ustaw odpowiednie nastroje przed lub podczas generowania TTS
• Dostosuj intensywność nastroju, aby pasowała do emocjonalnego tonu tekstu
• Używaj różnych nastrojów dla różnych sekcji dłuższej treści tekstowej

Streaming

To podejście wykorzystuje strumieniową syntezę mowy z tekstu z synchronizacją ust w czasie rzeczywistym:

Standard Model

1. Użyj Runtime Text To Speech, aby wygenerować strumieniową mowę z tekstu
2. Użyj Runtime Audio Importer, aby zaimportować zsyntetyzowany dźwięk
3. Przed odtworzeniem strumieniowej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W powiązanej funkcji, wywołaj ProcessAudioData ze swojego Runtime Viseme Generator

Copyable nodes.

Realistic Model

Local TTS Compatibility

Lokalny TTS dostarczany przez wtyczkę Runtime Text To Speech nie jest obecnie obsługiwany z regularnym modelem Realistic z powodu konfliktów środowiska wykonawczego ONNX. W przypadku syntezy mowy z tekstu z regularnym modelem Realistic, rozważ użycie zewnętrznych usług TTS lub użyj zamiast tego modelu Standard.

Mood-Enabled Realistic Model

1. Użyj Runtime Text To Speech, aby wygenerować strumieniową mowę z tekstu
2. Użyj Runtime Audio Importer, aby zaimportować zsyntetyzowany dźwięk
3. Przed odtworzeniem strumieniowej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W powiązanej funkcji, wywołaj ProcessAudioData ze swojego Mood-Enabled Lip Sync Generator
5. W razie potrzeby dostosuj ustawienia nastroju dynamicznie podczas strumieniowania

Copyable nodes.

Text-to-Speech (External APIs)

Regular

To podejście wykorzystuje plugin Runtime AI Chatbot Integrator do generowania zsyntetyzowanej mowy z usług AI (OpenAI lub ElevenLabs) i wykonywania synchronizacji ust:

Standard Model

1. Użyj Runtime AI Chatbot Integrator do generowania mowy z tekstu przy użyciu zewnętrznych API (OpenAI, ElevenLabs, itp.)
2. Użyj Runtime Audio Importer do zaimportowania zsyntetyzowanych danych audio
3. Przed odtworzeniem zaimportowanej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W powiązanej funkcji, wywołaj ProcessAudioData z twojego Runtime Viseme Generator

Copyable nodes.

Realistic Model

Realistic Model używa tego samego przepływu pracy przetwarzania audio co Standard Model, ale ze zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Copyable nodes.

Mood-Enabled Realistic Model

Mood-Enabled Model używa tego samego przepływu pracy przetwarzania audio, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Copyable nodes.

Streaming

To podejście wykorzystuje wtyczkę Runtime AI Chatbot Integrator do generowania zsyntetyzowanej strumieniowej mowy z usług AI (OpenAI lub ElevenLabs) i wykonywania synchronizacji ust:

Standard Model

1. Użyj Runtime AI Chatbot Integrator aby połączyć się ze strumieniowymi API TTS (jak ElevenLabs Streaming API)
2. Użyj Runtime Audio Importer aby zaimportować zsyntetyzowane dane audio
3. Przed odtworzeniem strumieniowej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W powiązanej funkcji, wywołaj ProcessAudioData z twojego Runtime Viseme Generator

Kopiowalne węzły.

Realistic Model

Realistic Model używa tego samego przepływu pracy przetwarzania audio co Standard Model, ale ze zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Kopiowalne węzły.

Mood-Enabled Realistic Model

Mood-Enabled Model używa tego samego przepływu pracy przetwarzania audio, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Kopiowalne węzły.

Z pliku/bufora audio

To podejście wykorzystuje wstępnie nagrane pliki audio lub bufory audio do synchronizacji ust:

Standard Model

1. Użyj Runtime Audio Importer, aby zaimportować plik audio z dysku lub pamięci
2. Przed odtworzeniem zaimportowanej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
3. W powiązanej funkcji, wywołaj ProcessAudioData ze swojego Runtime Viseme Generator
4. Odtwórz zaimportowaną falę dźwiękową i obserwuj animację synchronizacji ust

Copyable nodes.

Realistic Model

Realistic Model używa tego samego przepływu pracy przetwarzania audio co Standard Model, ale z zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Copyable nodes.

Mood-Enabled Realistic Model

Mood-Enabled Model używa tego samego przepływu pracy przetwarzania audio, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Copyable nodes.

Strumieniowy bufor audio

Do strumieniowania danych audio z bufora, potrzebujesz:

Standard Model

1. Dane audio w formacie float PCM (tablica próbek zmiennoprzecinkowych) dostępne ze źródła strumieniowania (lub użyj Runtime Audio Importer, aby obsługiwać więcej formatów)
2. Częstotliwość próbkowania i liczbę kanałów
3. Wywołaj ProcessAudioData ze swojego Runtime Viseme Generator z tymi parametrami, gdy fragmenty audio staną się dostępne

Copyable nodes.

Realistic Model

Model Realistyczny wykorzystuje ten sam przepływ pracy przetwarzania audio co Model Standardowy, ale ze zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Kopiowalne węzły.

Mood-Enabled Realistic Model

Model z Włączonym Nastrojem wykorzystuje ten sam przepływ pracy przetwarzania audio, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Kopiowalne węzły.

Uwaga: Podczas korzystania ze strumieniowych źródeł audio upewnij się, że odpowiednio zarządzasz czasem odtwarzania audio, aby uniknąć zniekształconego odtwarzania. Więcej informacji znajdziesz w dokumentacji Streaming Sound Wave.

Wskazówki Dotyczące Wydajności Przetwarzania

• Rozmiar Chunku: Jeśli chcesz przetwarzać dane audio w mniejszych porcjach dla bardziej responsywnej synchronizacji ust, dostosuj obliczenia w funkcji SetNumSamplesPerChunk. Na przykład, podzielenie częstotliwości próbkowania przez 150 (przesyłanie strumieniowe co ~6,67 ms) zamiast przez 100 (przesyłanie strumieniowe co 10 ms) zapewni częstsze aktualizacje synchronizacji ust.

• Zarządzanie Buforem: Model z włączonym nastrojem przetwarza audio w klatkach 320-próbkowych (20ms przy 16kHz). Upewnij się, że czasowanie twojego wejścia audio jest z tym zsynchronizowane dla optymalnej wydajności.

• Ponowne Tworzenie Generatora: Dla niezawodnej pracy z modelami Realistycznymi, odtwórz generator za każdym razem, gdy chcesz przekazać nowe dane audio po okresie bezczynności.

Następne Kroki

Gdy już skonfigurujesz przetwarzanie audio, możesz chcieć:

• Poznać Opcje konfiguracji, aby dostroić zachowanie synchronizacji ust
• Dodać animację śmiechu dla zwiększonej ekspresyjności
• Połączyć synchronizację ust z istniejącymi animacjami twarzy przy użyciu technik warstwowania opisanych w przewodniku konfiguracyjnym