Ses İşleme Kılavuzu

Bu kılavuz, dudak senkronizasyonu jeneratörlerinize ses verisi beslemek için farklı ses giriş yöntemlerini nasıl kuracağınızı kapsar. Devam etmeden önce Kurulum Kılavuzu'nu tamamladığınızdan emin olun.

Ses Giriş İşleme

Ses girişini işlemek için bir yöntem kurmanız gerekmektedir. Ses kaynağınıza bağlı olarak bunu yapmanın birkaç yolu vardır.

Mikrofon (Gerçek zamanlı)

Bu yaklaşım, mikrofonla konuşurken dudak senkronizasyonunu gerçek zamanlı olarak gerçekleştirir:

Standart Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
2. Ses yakalamaya başlamadan önce, OnPopulateAudioData temsilcisine bağlanın
3. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın
4. Mikrofondan ses yakalamaya başlayın

Kopyalanabilir düğümler.

Realistik Model

Realistik Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Etkin Realistik Model

Duygu Etkin Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Mikrofon (Oynatma)

Bu yaklaşım, bir mikrofondan ses yakalar, ardından dudak senkronizasyonu ile geri oynatır:

Standart Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
2. Mikrofondan ses yakalamayı başlatın
3. Yakalanabilir ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile çalışır.

Kopyalanabilir düğümler.

Duygu Etkin Gerçekçi Model

Duygu Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu yapılandırma yetenekleri ile çalışır.

Kopyalanabilir düğümler.

Text-to-Speech (Yerel)

Normal

Bu yaklaşım, yerel TTS kullanarak metinden konuşma sentezler ve dudak senkronizasyonu gerçekleştirir:

Standart Model

1. Metinden konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Yerel TTS Uyumluluğu

Runtime Text To Speech eklentisi tarafından sağlanan yerel TTS, ONNX çalışma zamanı çakışmaları nedeniyle şu anda normal Gerçekçi model ile desteklenmemektedir. Normal Gerçekçi model ile metinden konuşma için harici TTS çözümlerini düşünün veya bunun yerine Standart modeli kullanın.

Duygu Etkin Gerçekçi Model

1. Metinden konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Duygu Etkin Dudak Senkronizasyonu Generator'ınızdan ProcessAudioData çağırın
5. Metin içeriğine veya istenen duygusal ifadeye dayalı olarak duygu ayarlarını yapılandırın

Kopyalanabilir düğümler.

Duygu Entegrasyonlu TTS:

• TTS oluşturmadan önce veya sırasında uygun duyguları ayarlayın
• Metnin duygusal tonuyla eşleşecek şekilde duygu yoğunluğunu ayarlayın
• Daha uzun metin içeriklerinin farklı bölümleri için farklı duygular kullanın

Streaming

Bu yaklaşım, gerçek zamanlı dudak senkronizasyonu ile akışlı metinden sese sentezi kullanır:

Standard Model

1. Metinden akışlı konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. Akışlı ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyon içinde, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Realistic Model

Yerel TTS Uyumluluğu

Runtime Text To Speech eklentisi tarafından sağlanan Yerel TTS, ONNX çalışma zamanı çakışmaları nedeniyle şu anda düzenli Realistic model ile desteklenmemektedir. Düzenli Realistic model ile metinden sese için harici TTS servislerini kullanmayı düşünün veya bunun yerine Standard modeli kullanın.

Mood-Enabled Realistic Model

1. Metinden akışlı konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. Akışlı ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyon içinde, Mood-Enabled Lip Sync Generator'ınızdan ProcessAudioData fonksiyonunu çağırın
5. Gerekirse akış sırasında ruh hali ayarlarını dinamik olarak ayarlayın

Kopyalanabilir düğümler.

Metinden Sese (Harici API'ler)

Normal

Bu yaklaşım, AI servislerinden (OpenAI veya ElevenLabs) sentezlenmiş konuşma oluşturmak ve dudak senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır:

Standart Model

1. Harici API'ler (OpenAI, ElevenLabs, vb.) kullanarak metinden konuşma oluşturmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenmiş ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile çalışır.

Kopyalanabilir düğümler.

Ruh Hali Etkin Gerçekçi Model

Ruh Hali Etkin Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile çalışır.

Kopyalanabilir düğümler.

Streaming

Bu yaklaşım, AI servislerinden (OpenAI veya ElevenLabs) sentezlenmiş akış konuşması üretmek ve lip sync gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır:

Standard Model

1. Akış TTS API'lerine (ElevenLabs Streaming API gibi) bağlanmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenmiş ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. Akış ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData çağırın

Kopyalanabilir düğümler.

Realistic Model

Realistic Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Mood-Enabled Realistic Model

Mood-Enabled Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Ses Dosyası/Arabelleğinden

Bu yaklaşım, dudak senkronizasyonu için önceden kaydedilmiş ses dosyalarını veya ses arabelleklerini kullanır:

Standart Model

1. Diskten veya bellekten bir ses dosyasını içe aktarmak için Runtime Audio Importer kullanın
2. İçe aktarılan ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
3. Bağlanan fonksiyon içinde, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın
4. İçe aktarılan ses dalgasını oynatın ve dudak senkronizasyon animasyonunu gözlemleyin

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Etkin Gerçekçi Model

Duygu Etkin Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış Ses Arabelleği

Bir arabellekten akış ses verisi için şunlara ihtiyacınız var:

Standart Model

1. Akış kaynağınızdan kayan nokta PCM formatında (kayan nokta örneklerinden oluşan bir dizi) ses verisi (veya daha fazla formatı desteklemek için Runtime Audio Importer kullanın)
2. Örnekleme hızı ve kanal sayısı
3. Ses parçaları kullanılabilir olduğunda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu bu parametrelerle çağırın

Kopyalanabilir düğümler.

Realistic Model

Realistik Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile çalışır.

Kopyalanabilir düğümler.

Mood-Enabled Realistic Model

Mood-Enabled Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu yapılandırma yetenekleri ile çalışır.

Kopyalanabilir düğümler.

Not: Akış ses kaynakları kullanırken, bozuk ses çalınmasını önlemek için ses çalma zamanlamasını uygun şekilde yönettiğinizden emin olun. Daha fazla bilgi için Streaming Sound Wave dokümantasyonuna bakın.

İşleme Performans İpuçları

• Yığın Boyutu: Daha duyarlı lip sync için ses verilerini daha küçük yığınlarda işlemek istiyorsanız, SetNumSamplesPerChunk fonksiyonundaki hesaplamayı ayarlayın. Örneğin, örnekleme hızını 100'e bölmek (her 10 ms'de bir akış) yerine 150'ye bölmek (her ~6.67 ms'de bir akış) daha sık lip sync güncellemeleri sağlayacaktır.

• Tampon Yönetimi: Mood-Enabled model, sesi 320-örnek karelerde işler (16kHz'de 20ms). Optimum performans için ses giriş zamanlamanızın buna uyumlu olduğundan emin olun.

• Generator Yeniden Oluşturma: Realistik modellerle güvenilir çalışma için, bir süre hareketsiz kaldıktan sonra yeni ses verisi beslemek istediğinizde generator'ı yeniden oluşturun.

Sonraki Adımlar

Ses işlemeyi kurduktan sonra şunları yapmak isteyebilirsiniz:

• Lip sync davranışınızı hassas şekilde ayarlamak için Yapılandırma seçenekleri hakkında bilgi edinin
• Gelişmiş ifade gücü için kahkaha animasyonu ekleyin
• Yapılandırma kılavuzunda açıklanan katmanlama tekniklerini kullanarak lip sync'i mevcut yüz animasyonlarıyla birleştirin