Ses İşleme Kılavuzu

Bu kılavuz, dudak senkronizasyonu jeneratörlerinize ses verisi beslemek için farklı ses giriş yöntemlerini nasıl kuracağınızı kapsar. Devam etmeden önce Kurulum Kılavuzu'nu tamamladığınızdan emin olun.

Ses Girişi İşleme

Ses girişini işlemek için bir yöntem kurmanız gerekiyor. Ses kaynağınıza bağlı olarak bunu yapmanın birkaç yolu vardır.

Mikrofon (Gerçek zamanlı)

Bu yaklaşım, mikrofonla konuşurken dudak senkronizasyonunu gerçek zamanlı olarak gerçekleştirir:

Standart Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
   • Pixel Streaming ile Linux için, bunun yerine Pixel Streaming Capturable Sound Wave kullanın
2. Ses yakalamaya başlamadan önce, OnPopulateAudioData delegesine bağlanın
3. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın
4. Mikrofondan ses yakalamaya başlayın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkin Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Mikrofon (Oynatma)

Bu yaklaşım, bir mikrofondan ses yakalar, ardından dudak senkronizasyonu ile oynatır:

Standart Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
   • Pixel Streaming ile Linux için, bunun yerine Pixel Streaming Capturable Sound Wave kullanın
2. Mikrofondan ses yakalamaya başlayın
3. Yakalanabilir ses dalgasını oynatmadan önce, OnGeneratePCMData delegesine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkin Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Metinden Sese (Yerel)

Düzenli

Bu yaklaşım, yerel TTS kullanarak metinden konuşma sentezler ve dudak senkronizasyonu gerçekleştirir:

Standart Model

1. Metinden konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData delegesine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkin Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış

Bu yaklaşım, gerçek zamanlı dudak senkronizasyonu ile akış metinden sese sentezleme kullanır:

Standart Model

1. Metinden akış konuşması oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. Akış ses dalgasını oynatmadan önce, OnGeneratePCMData delegesine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkin Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Metinden Sese (Harici API'ler)

Düzenli

Bu yaklaşım, AI hizmetlerinden (OpenAI veya ElevenLabs) sentezlenen konuşma oluşturmak ve dudak senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır:

Standart Model

1. Harici API'ler (OpenAI, ElevenLabs, vb.) kullanarak metinden konuşma oluşturmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenen ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData delegesine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkin Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış

Bu yaklaşım, AI hizmetlerinden (OpenAI veya ElevenLabs) sentezlenen akış konuşması oluşturmak ve dudak senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır:

Standart Model

1. Akış TTS API'lerine (ElevenLabs Streaming API gibi) bağlanmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenen ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. Akış ses dalgasını oynatmadan önce, OnGeneratePCMData delegesine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkin Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Ses Dosyası/Arabelleğinden

Bu yaklaşım, dudak senkronizasyonu için önceden kaydedilmiş ses dosyalarını veya ses arabelleklerini kullanır:

Standart Model

1. Diskten veya bellekten bir ses dosyasını içe aktarmak için Runtime Audio Importer kullanın
2. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData delegesine bağlanın
3. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın
4. İçe aktarılan ses dalgasını oynatın ve dudak senkronizasyonu animasyonunu gözlemleyin

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkin Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış Ses Arabelleği

Bir arabellekten akış ses verisi için şunlara ihtiyacınız var:

Standart Model

1. Akış kaynağınızdan kullanılabilir float PCM formatında ses verisi (kayan noktalı örneklerden oluşan bir dizi) (veya daha fazla formatı desteklemek için Runtime Audio Importer kullanın)
2. Örnekleme hızı ve kanal sayısı
3. Ses parçaları kullanılabilir oldukça, Runtime Viseme Generator'ınızdan ProcessAudioData'yı bu parametrelerle çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkin Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Not: Akış ses kaynakları kullanırken, bozuk oynatmayı önlemek için ses oynatma zamanlamasını uygun şekilde yönettiğinizden emin olun. Daha fazla bilgi için Streaming Sound Wave belgelerine bakın.

İşleme Performans İpuçları

• Parça Boyutu: ProcessingChunkSize yapılandırma seçeneğini artırmak (örneğin 320, 480 veya 640 örneğe) kalite veya yanıt verme süresi üzerinde minimal etki ile gecikmeyi fark edilir şekilde iyileştirebilir.

• Model Türü: Gerçekçi modeller kullanırken, Yüksek Optimize Edilmiş model türüne geçmek (varsayılan olarak seçilidir) performansı artırabilir. Orijinal modelin, özellikle gürültülü seslerde biraz daha iyi kalite üretebileceğini unutmayın.

• Arabellek Yönetimi: Ruh hali etkin model, sesi 320-örnek karelerde (16kHz'de 20ms) işler. Optimum performans için ses giriş zamanlamanızın buna uyumlu olduğundan emin olun.

• Jeneratör Yeniden Oluşturma: Gerçekçi modellerle güvenilir çalışma için, bir süre hareketsizlikten sonra yeni ses verisi beslemek istediğinizde jeneratörü her seferinde yeniden oluşturun.

Sonraki Adımlar

Ses işlemeyi kurduktan sonra şunları yapmak isteyebilirsiniz:

• Dudak senkronizasyonu davranışınızı ince ayarlamak için Yapılandırma seçenekleri hakkında bilgi edinin
• Gelişmiş ifade için kahkaha animasyonu ekleyin
• Dudak senkronizasyonunu, Yapılandırma kılavuzunda açıklanan katmanlama tekniklerini kullanarak mevcut yüz animasyonlarıyla birleştirin