Przewodnik przetwarzania dźwięku

Ten przewodnik obejmuje konfigurację różnych metod wprowadzania dźwięku do przekazywania danych audio do generatorów synchronizacji ust. Upewnij się, że ukończyłeś Przewodnik konfiguracji przed kontynuowaniem.

Przetwarzanie wejścia audio

Musisz skonfigurować metodę przetwarzania wejścia audio. Istnieje kilka sposobów w zależności od źródła dźwięku.

Mikrofon (Rzeczywisty czas)

To podejście wykonuje synchronizację ust w czasie rzeczywistym podczas mówienia do mikrofonu:

Model standardowy

1. Utwórz Capturable Sound Wave za pomocą Runtime Audio Importer
2. Przed rozpoczęciem przechwytywania dźwięku, podłącz się do delegata OnPopulateAudioData
3. W powiązanej funkcji, wywołaj ProcessAudioData z twojego Runtime Viseme Generator
4. Rozpocznij przechwytywanie dźwięku z mikrofonu

Węzły do skopiowania.

Model realistyczny

Model realistyczny używa tego samego przepływu pracy przetwarzania dźwięku co model standardowy, ale ze zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Węzły do skopiowania.

Model realistyczny z obsługą nastroju

Model z obsługą nastroju używa tego samego przepływu pracy przetwarzania dźwięku, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Węzły do skopiowania.

Mikrofon (Odtwarzanie)

To podejście przechwytuje dźwięk z mikrofonu, a następnie odtwarza go z synchronizacją ust:

Model Standardowy

1. Utwórz Capturable Sound Wave używając Runtime Audio Importer
2. Rozpocznij przechwytywanie dźwięku z mikrofonu
3. Przed odtworzeniem przechwytywanej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W powiązanej funkcji, wywołaj ProcessAudioData z twojego Runtime Viseme Generator

Kopiowalne węzły.

Model Realistyczny

Model Realistyczny używa tego samego przepływu pracy przetwarzania dźwięku co Model Standardowy, ale ze zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Kopiowalne węzły.

Model Realistyczny z Nastrojem

Model z Nastrojem używa tego samego przepływu pracy przetwarzania dźwięku, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Kopiowalne węzły.

Text-to-Speech (Lokalny)

Regular

To podejście syntetyzuje mowę z tekstu przy użyciu lokalnego TTS i wykonuje synchronizację warg:

Standard Model

1. Użyj Runtime Text To Speech, aby wygenerować mowę z tekstu
2. Użyj Runtime Audio Importer, aby zaimportować zsyntetyzowany dźwięk
3. Przed odtworzeniem zaimportowanej fali dźwiękowej, przypisz do jej delegata OnGeneratePCMData
4. W powiązanej funkcji, wywołaj ProcessAudioData z twojego Runtime Viseme Generator

Copyable nodes.

Realistic Model

Zgodność lokalnego TTS

Lokalny TTS dostarczany przez wtyczkę Runtime Text To Speech nie jest obecnie obsługiwany z regularnym modelem Realistic z powodu konfliktów środowiska wykonawczego ONNX. Dla text-to-speech z regularnym modelem Realistic, rozważ:

• Użycie zewnętrznych usług TTS (ElevenLabs, OpenAI, itp.)
• Użycie zewnętrznych lokalnych rozwiązań TTS (TTS oparty na Pythonie, systemowe API TTS lub inne lokalne rozwiązania nie korzystające z ONNX)
• Użycie Standard Model lub Mood-Enabled Realistic Model zamiast tego, które obsługują wtyczkę Runtime Text To Speech

Mood-Enabled Realistic Model

1. Użyj Runtime Text To Speech, aby wygenerować mowę z tekstu
2. Użyj Runtime Audio Importer, aby zaimportować zsyntetyzowany dźwięk
3. Przed odtworzeniem zaimportowanej fali dźwiękowej, przypisz do jej delegata OnGeneratePCMData
4. W powiązanej funkcji, wywołaj ProcessAudioData z twojego Mood-Enabled Lip Sync Generator
5. Skonfiguruj ustawienia nastroju na podstawie treści tekstu lub pożądanego wyrazu emocjonalnego

Copyable nodes.

TTS z integracją nastroju:

• Ustaw odpowiednie nastroje przed lub podczas generowania TTS
• Dostosuj intensywność nastroju, aby pasowała do emocjonalnego tonu tekstu
• Używaj różnych nastrojów dla różnych sekcji dłuższej treści tekstowej

Streaming

To podejście wykorzystuje strumieniową syntezę mowy na tekst z synchronizacją ust w czasie rzeczywistym:

Standard Model

1. Użyj Runtime Text To Speech, aby wygenerować strumieniową mowę z tekstu
2. Użyj Runtime Audio Importer, aby zaimportować zsyntetyzowany dźwięk
3. Przed odtworzeniem strumieniowej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W podłączonej funkcji, wywołaj ProcessAudioData ze swojego Runtime Viseme Generator

Copyable nodes.

Realistic Model

Local TTS Compatibility

Lokalny TTS dostarczany przez wtyczkę Runtime Text To Speech nie jest obecnie obsługiwany z regularnym modelem Realistic z powodu konfliktów środowiska wykonawczego ONNX. W przypadku syntezy mowy na tekst z regularnym modelem Realistic, rozważ:

• Użycie zewnętrznych usług TTS (ElevenLabs, OpenAI, itp.)
• Użycie zewnętrznych lokalnych rozwiązań TTS (TTS oparte na Pythonie, systemowe API TTS lub inne lokalne rozwiązania nie korzystające z ONNX)
• Użycie zamiast tego Standard Model lub Mood-Enabled Realistic Model, które obsługują wtyczkę Runtime Text To Speech

Mood-Enabled Realistic Model

1. Użyj Runtime Text To Speech, aby wygenerować strumieniową mowę z tekstu
2. Użyj Runtime Audio Importer, aby zaimportować zsyntetyzowany dźwięk
3. Przed odtworzeniem strumieniowej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W podłączonej funkcji, wywołaj ProcessAudioData ze swojego Mood-Enabled Lip Sync Generator
5. W razie potrzeby dostosuj ustawienia nastroju dynamicznie podczas strumieniowania

Copyable nodes.

Text-to-Speech (Zewnętrzne API)

Regular

To podejście wykorzystuje wtyczkę Runtime AI Chatbot Integrator do generowania zsyntetyzowanej mowy z usług AI (OpenAI lub ElevenLabs) i wykonywania synchronizacji ust:

Standard Model

1. Użyj Runtime AI Chatbot Integrator do generowania mowy z tekstu przy użyciu zewnętrznych API (OpenAI, ElevenLabs, itp.)
2. Użyj Runtime Audio Importer do zaimportowania zsyntetyzowanych danych audio
3. Przed odtworzeniem zaimportowanej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W powiązanej funkcji, wywołaj ProcessAudioData z twojego Runtime Viseme Generator

Copyable nodes.

Realistic Model

Realistic Model używa tego samego przepływu pracy przetwarzania audio co Standard Model, ale ze zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Copyable nodes.

Mood-Enabled Realistic Model

Mood-Enabled Model używa tego samego przepływu pracy przetwarzania audio, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Copyable nodes.

Streaming

To podejście wykorzystuje wtyczkę Runtime AI Chatbot Integrator do generowania syntetyzowanej mowy strumieniowej z usług AI (OpenAI lub ElevenLabs) i wykonywania synchronizacji ust:

Standard Model

1. Użyj Runtime AI Chatbot Integrator do połączenia z interfejsami API strumieniowego TTS (takimi jak ElevenLabs Streaming API)
2. Użyj Runtime Audio Importer do zaimportowania syntetyzowanych danych audio
3. Przed odtworzeniem strumieniowej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
4. W powiązanej funkcji, wywołaj ProcessAudioData z twojego Runtime Viseme Generator

Kopiowalne węzły.

Realistic Model

Realistic Model używa tego samego przepływu pracy przetwarzania audio co Standard Model, ale ze zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Kopiowalne węzły.

Mood-Enabled Realistic Model

Mood-Enabled Model używa tego samego przepływu pracy przetwarzania audio, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Kopiowalne węzły.

Z pliku/bufora audio

To podejście wykorzystuje wstępnie nagrane pliki audio lub bufory audio do synchronizacji ust:

Model standardowy

1. Użyj Runtime Audio Importer, aby zaimportować plik audio z dysku lub pamięci
2. Przed odtworzeniem zaimportowanej fali dźwiękowej, podłącz się do jej delegata OnGeneratePCMData
3. W powiązanej funkcji, wywołaj ProcessAudioData ze swojego Runtime Viseme Generator
4. Odtwórz zaimportowaną falę dźwiękową i obserwuj animację synchronizacji ust

Gotowe węzły do skopiowania.

Model realistyczny

Model Realistyczny używa tego samego przepływu pracy przetwarzania audio co Model Standardowy, ale z zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Gotowe węzły do skopiowania.

Model realistyczny z obsługą nastroju

Model z Obsługą Nastroju używa tego samego przepływu pracy przetwarzania audio, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Gotowe węzły do skopiowania.

Strumieniowy bufor audio

Do strumieniowania danych audio z bufora, potrzebujesz:

Model standardowy

1. Dane audio w formacie float PCM (tablica próbek zmiennoprzecinkowych) dostępne ze źródła strumieniowania (lub użyj Runtime Audio Importer, aby obsłużyć więcej formatów)
2. Częstotliwość próbkowania i liczbę kanałów
3. Wywołaj ProcessAudioData ze swojego Runtime Viseme Generator z tymi parametrami, gdy fragmenty audio staną się dostępne

Gotowe węzły do skopiowania.

Realistic Model

Model Realistyczny wykorzystuje ten sam przepływ pracy przetwarzania dźwięku co Model Standardowy, ale ze zmienną RealisticLipSyncGenerator zamiast VisemeGenerator.

Kopiowalne węzły.

Mood-Enabled Realistic Model

Model z Włączonym Nastrojem wykorzystuje ten sam przepływ pracy przetwarzania dźwięku, ale ze zmienną MoodMetaHumanLipSyncGenerator i dodatkowymi możliwościami konfiguracji nastroju.

Kopiowalne węzły.

Uwaga: Podczas korzystania ze strumieniowych źródeł dźwięku upewnij się, że odpowiednio zarządzasz czasem odtwarzania dźwięku, aby uniknąć zniekształconego odtwarzania. Więcej informacji znajdziesz w dokumentacji Streaming Sound Wave.

Wskazówki Dotyczące Wydajności Przetwarzania

• Rozmiar Porcji: Jeśli chcesz przetwarzać dane audio w mniejszych porcjach dla bardziej responsywnej synchronizacji ust, dostosuj obliczenia w funkcji SetNumSamplesPerChunk. Na przykład, podzielenie częstotliwości próbkowania przez 150 (przesyłanie strumieniowe co ~6,67 ms) zamiast przez 100 (przesyłanie strumieniowe co 10 ms) zapewni częstsze aktualizacje synchronizacji ust.

• Zarządzanie Buforem: Model z włączonym nastrojem przetwarza dźwięk w klatkach o wielkości 320 próbek (20 ms przy 16 kHz). Upewnij się, że czasowanie twojego wejścia audio jest z tym zsynchronizowane dla optymalnej wydajności.

• Ponowne Tworzenie Generatora: Dla niezawodnej pracy z modelami Realistic, odtwórz generator za każdym razem, gdy chcesz przekazać nowe dane audio po okresie bezczynności.

Następne Kroki

Gdy już skonfigurujesz przetwarzanie dźwięku, możesz chcieć:

• Dowiedzieć się więcej o Opcjach konfiguracji, aby dostroić zachowanie synchronizacji ust
• Dodać animację śmiechu dla zwiększonej ekspresyjności
• Połączyć synchronizację ust z istniejącymi animacjami twarzy przy użyciu technik warstwowania opisanych w przewodniku konfiguracyjnym