Ses İşleme Kılavuzu

Bu kılavuz, dudak senkronizasyonu oluşturucularınıza ses verisi beslemek için farklı ses giriş yöntemlerinin nasıl kurulacağını kapsar. Devam etmeden önce Kurulum Kılavuzu'nu tamamladığınızdan emin olun.

Ses Giriş İşleme

Ses girişini işlemek için bir yöntem ayarlamanız gerekiyor. Ses kaynağınıza bağlı olarak bunu yapmanın birkaç yolu vardır.

Mikrofon (Gerçek Zamanlı)

Bu yaklaşım, mikrofona konuşurken gerçek zamanlı olarak dudak senkronizasyonu gerçekleştirir:

Standart Model

1. Runtime Audio Importer kullanarak bir Yakalanabilir Ses Dalgası oluşturun
   • Linux ve Pixel Streaming için, Pixel Streaming Capturable Sound Wave kullanın
2. Ses yakalamaya başlamadan önce, OnPopulateAudioData temsilcisine bağlanın
3. Bağlı fonksiyonda, Runtime Viseme Generator'ünüzden ProcessAudioData'yı çağırın
4. Mikrofondan ses yakalamayı başlatın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkenini kullanır.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleriyle birlikte gelir.

Kopyalanabilir düğümler.

Mikrofon (Oynatma)

Bu yaklaşım, bir mikrofondan ses yakalar ve ardından dudak senkronizasyonu ile geri oynatır:

Standart Model

1. Runtime Audio Importer kullanarak bir Yakalanabilir Ses Dalgası oluşturun
   • Linux ve Pixel Streaming için, Pixel Streaming Capturable Sound Wave kullanın
2. Mikrofondan ses yakalamayı başlat
3. Yakalanabilir ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlan
4. Bağlı fonksiyonda, Runtime Viseme Generator'ünüzden ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkenini kullanır.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleriyle birlikte gelir.

Kopyalanabilir düğümler.

Metin Sesten Sese (Yerel)

Normal

Bu yaklaşım, yerel TTS kullanarak metinden konuşma sentezler ve dudak senkronizasyonu gerçekleştirir.

Standart Model

1. Metinlerden konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlı fonksiyonda, Runtime Viseme Generator'ünüzden ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkenini kullanır.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleriyle birlikte gelir.

Kopyalanabilir düğümler.

Akış

Bu yaklaşım, gerçek zamanlı dudak senkronizasyonu ile akışlı metin-konuşma sentezini kullanır.

Standart Model

1. Metinlerden akışlı konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. Akışlı ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlı fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData çağrısı yapın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkenini kullanır.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile birlikte çalışır.

Kopyalanabilir düğümler.

Metin-Konuşma (Harici API'ler)

Normal

Bu yaklaşım, yapay zeka hizmetlerinden (OpenAI veya ElevenLabs) sentezlenmiş konuşma üretmek ve dudak senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır.

Standart Model

1. Harici API'ler (OpenAI, ElevenLabs vb.) kullanarak metinden konuşma oluşturmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenen ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData delegate'ine bağlanın
4. Bağlı fonksiyonda, Runtime Viseme Generator'ünüzden ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkenini kullanır.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile birlikte çalışır.

Kopyalanabilir düğümler.

Akış

Bu yaklaşım, yapay zeka hizmetlerinden (OpenAI veya ElevenLabs) sentezlenmiş akışlı konuşma üretmek ve dudak senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır.

Standart Model

1. Runtime AI Chatbot Integrator kullanarak akışlı TTS API'lerine (ElevenLabs Streaming API gibi) bağlanın
2. Sentezlenmiş ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. Akışlı ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlı fonksiyonda, Runtime Viseme Generator'ünüzden ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkenini kullanır.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleriyle birlikte gelir.

Kopyalanabilir düğümler.

Ses Dosyasından/Tamponundan

Bu yaklaşım, dudak senkronizasyonu için önceden kaydedilmiş ses dosyalarını veya ses tamponlarını kullanır:

Standart Model

1. Diskten veya bellekten bir ses dosyasını içe aktarmak için Runtime Audio Importer kullanın
2. İçe aktarılan ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
3. Bağlı fonksiyonda, Runtime Viseme Generator'ünüzden ProcessAudioData fonksiyonunu çağırın
4. İçe aktarılan ses dalgasını oynatın ve dudak senkronizasyonu animasyonunu gözlemleyin

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkenini kullanır.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile birlikte çalışır.

Kopyalanabilir düğümler.

Akış Ses Tamponu

Bir tampondan akan ses verisi akışı için ihtiyacınız olan:

Standart Model

1. Ses verileri float PCM formatında (kayan noktalı örneklerden oluşan bir dizi) akış kaynağınızdan elde edilebilir (veya daha fazla formatı desteklemek için Runtime Audio Importer kullanın)
2. Örnekleme hızı ve kanal sayısı
3. Ses parçaları kullanılabilir hale geldikçe, Runtime Viseme Generator'ınızdan ProcessAudioData'yı bu parametrelerle çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkenini kullanır.

Kopyalanabilir düğümler.

Ruh Hali Etkin Gerçekçi Model

Ruh Hali Etkin Model, aynı ses işleme iş akışını kullanır ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleriyle birlikte gelir.

Kopyalanabilir düğümler.

Not: Akışlı ses kaynakları kullanırken, bozuk oynatmayı önlemek için ses oynatma zamanlamasını uygun şekilde yönettiğinizden emin olun. Daha fazla bilgi için Akışlı Ses Dalgası dokümantasyonuna bakın.

İşlem Performansı İpuçları

• Chunk Boyutu: ProcessingChunkSize yapılandırma seçeneğini (örneğin 320, 480 veya 640 örneğe) artırmak, kalite veya yanıt verme hızı üzerinde minimum etkiyle gecikmeyi belirgin şekilde iyileştirebilir.

• Model Türü: Gerçekçi modeller kullanırken, Yüksek Düzeyde Optimize Edilmiş model türüne (varsayılan olarak seçili) geçmek performansı artırabilir. Orijinal modelin, özellikle gürültülü seslerde, biraz daha iyi kalite sağlayabileceğini unutmayın.

• Tampon Yönetimi: Ruh hali destekli model, sesi 320 örneklik çerçeveler halinde işler (16kHz'de 20ms). Optimum performans için ses giriş zamanlamanızın bununla uyumlu olduğundan emin olun.

• Generator Yeniden Oluşturma: Gerçekçi modellerle güvenilir çalışma için, bir süre hareketsiz kaldıktan sonra yeni ses verisi beslemek istediğinizde generator'ü her seferinde yeniden oluşturun. Açıklama için Sorun Giderme bölümündeki Generator Yeniden Oluşturma bölümüne bakın.

Sonraki Adımlar

Ses işleme kurulumunu tamamladıktan sonra şunları yapmak isteyebilirsiniz:

• Dudak senkronizasyonu davranışınızı ince ayarlamak için Yapılandırma seçenekleri hakkında bilgi edinin
• Gelişmiş ifade gücü için kahkaha animasyonu ekleyin
• Yapılandırma kılavuzunda açıklanan katmanlama tekniklerini kullanarak dudak senkronizasyonunu mevcut yüz animasyonlarıyla birleştirin