Ses İşleme Kılavuzu

Bu kılavuz, dudak senkronizasyonu oluşturucularınıza ses verisi beslemek için farklı ses giriş yöntemlerinin nasıl ayarlanacağını kapsar. Devam etmeden önce Kurulum Kılavuzu'nu tamamladığınızdan emin olun.

Ses Giriş İşleme

Ses girişini işlemek için bir yöntem ayarlamanız gerekir. Ses kaynağınıza bağlı olarak bunu yapmanın birkaç yolu vardır.

Mikrofon (Gerçek Zamanlı)

Bu yaklaşım, mikrofona konuşurken gerçek zamanlı dudak senkronizasyonu gerçekleştirir:

Standart Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
   • Pixel Streaming ile Linux için bunun yerine Pixel Streaming Capturable Sound Wave kullanın
2. Ses yakalamaya başlamadan önce, OnPopulateAudioData temsilcisine bağlanın
3. Bağlı fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yi çağırın
4. Mikrofondan ses yakalamaya başlayın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Durumu Etkin Gerçekçi Model

Duygu Durumu Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu durumu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Mikrofon (Oynatma)

Bu yaklaşım, mikrofondan ses yakalar, ardından dudak senkronizasyonu ile oynatır:

Standart Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
   • Pixel Streaming ile Linux için bunun yerine Pixel Streaming Capturable Sound Wave kullanın
2. Mikrofondan ses yakalamayı başlatın
3. Yakalanabilir ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlı fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yi çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Durumu Etkin Gerçekçi Model

Duygu Durumu Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu durumu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Metinden Konuşmaya (Yerel)

Normal

Bu yaklaşım, yerel TTS kullanarak metinden konuşma sentezler ve dudak senkronizasyonu gerçekleştirir:

Standart Model

1. Metinden konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlı fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yi çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Durumu Etkin Gerçekçi Model

Duygu Durumu Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu durumu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış

Bu yaklaşım, gerçek zamanlı dudak senkronizasyonu ile akışlı metinden konuşmaya sentez kullanır:

Standart Model

1. Metinden akışlı konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. Akışlı ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlı fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yi çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Durumu Etkin Gerçekçi Model

Duygu Durumu Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu durumu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Metinden Konuşmaya (Harici API'ler)

Normal

Bu yaklaşım, AI hizmetlerinden (OpenAI veya ElevenLabs) sentezlenmiş konuşma oluşturmak ve dudak senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır:

Standart Model

1. Harici API'ler (OpenAI, ElevenLabs, vb.) kullanarak metinden konuşma oluşturmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenen ses verisini içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlı fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yi çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Durumu Etkin Gerçekçi Model

Duygu Durumu Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu durumu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış

Bu yaklaşım, AI hizmetlerinden (OpenAI veya ElevenLabs) sentezlenmiş akışlı konuşma oluşturmak ve dudak senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır:

Standart Model

1. Akışlı TTS API'lerine (ElevenLabs Streaming API gibi) bağlanmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenen ses verisini içe aktarmak için Runtime Audio Importer kullanın
3. Akışlı ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlı fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yi çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Durumu Etkin Gerçekçi Model

Duygu Durumu Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu durumu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Ses Dosyasından/Arabelleğinden

Bu yaklaşım, dudak senkronizasyonu için önceden kaydedilmiş ses dosyaları veya ses arabellekleri kullanır:

Standart Model

1. Diskten veya bellekten bir ses dosyasını içe aktarmak için Runtime Audio Importer kullanın
2. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
3. Bağlı fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yi çağırın
4. İçe aktarılan ses dalgasını oynatın ve dudak senkronizasyonu animasyonunu gözlemleyin

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Durumu Etkin Gerçekçi Model

Duygu Durumu Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu durumu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akışlı Ses Arabelleği

Bir arabellekten akışlı ses verisi için ihtiyacınız olanlar:

Standart Model

1. Akış kaynağınızdan kayan nokta PCM formatında ses verisi (kayan noktalı örneklerden oluşan bir dizi) mevcut (veya daha fazla formatı desteklemek için Runtime Audio Importer kullanın)
2. Örnekleme hızı ve kanal sayısı
3. Ses parçaları kullanılabilir hale geldikçe bu parametrelerle Runtime Viseme Generator'ınızdan ProcessAudioData'yi çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Durumu Etkin Gerçekçi Model

Duygu Durumu Etkin Model, aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu durumu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Not: Akışlı ses kaynakları kullanırken, bozuk oynatmayı önlemek için ses oynatma zamanlamasını uygun şekilde yönettiğinizden emin olun. Daha fazla bilgi için Streaming Sound Wave belgelerine bakın.

İşleme Performans İpuçları

• Parça Boyutu: ProcessingChunkSize yapılandırma seçeneğini artırmak (örneğin 320, 480 veya 640 örneğe) kalite veya yanıt verme hızı üzerinde minimum etkiyle gecikmeyi gözle görülür şekilde iyileştirebilir.

• Model Türü: Gerçekçi modeller kullanırken, (varsayılan olarak seçili olan) Yüksek Düzeyde Optimize Edilmiş model türüne geçmek performansı artırabilir. Orijinal modelin, özellikle gürültülü seslerle, biraz daha iyi kalite üretebileceğini unutmayın.

• Arabellek Yönetimi: Duygu durumu etkin model, sesi 320 örneklik çerçeveler halinde işler (16kHz'de 20ms). En iyi performans için ses giriş zamanlamanızın bununla uyumlu olduğundan emin olun.

• Oluşturucuyu Yeniden Oluşturma: Gerçekçi modellerle güvenilir çalışma için, bir hareketsizlik döneminden sonra yeni ses verisi beslemek istediğinizde oluşturucuyu her seferinde yeniden oluşturun. Açıklama için Sorun Giderme bölümündeki Oluşturucuyu Yeniden Oluşturma bölümüne bakın.

Sonraki Adımlar

Ses işlemeyi ayarladıktan sonra şunları yapmak isteyebilirsiniz:

• Dudak senkronizasyonu davranışınızı ince ayarlamak için Yapılandırma seçenekleri hakkında bilgi edinin
• Gelişmiş ifade gücü için kahkaha animasyonu ekleyin
• Yapılandırma kılavuzunda açıklanan katmanlama tekniklerini kullanarak dudak senkronizasyonunu mevcut yüz animasyonlarıyla birleştirin