Ses İşleme Kılavuzu

Bu kılavuz, dudak senkronizasyonu jeneratörlerinize ses verisi beslemek için farklı ses giriş yöntemlerini nasıl kuracağınızı kapsar. Devam etmeden önce Kurulum Kılavuzu'nu tamamladığınızdan emin olun.

Ses Giriş İşleme

Ses girişini işlemek için bir yöntem kurmanız gerekmektedir. Bunu yapmanın ses kaynağınıza bağlı olarak birkaç yolu vardır.

Mikrofon (Gerçek zamanlı)

Bu yaklaşım, mikrofonla konuşurken dudak senkronizasyonunu gerçek zamanlı olarak gerçekleştirir:

Standart Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
2. Ses yakalamaya başlamadan önce, OnPopulateAudioData temsilcisine bağlanın
3. Bağlanan fonksiyon içinde, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın
4. Mikrofondan ses yakalamaya başlayın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile çalışır.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkinleştirilmiş Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile birlikte gelir.

Kopyalanabilir düğümler.

Mikrofon (Oynatma)

Bu yaklaşım, bir mikrofondan ses yakalar, ardından dudak senkronizasyonu ile geri oynatır:

Standart Model

1. Runtime Audio Importer kullanarak Capturable Sound Wave oluşturun
2. Mikrofondan ses yakalamayı başlatın
3. Yakalanabilir ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Etkin Gerçekçi Model

Duygu Etkin Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Metinden Sese (Yerel)

Normal

Bu yaklaşım, yerel TTS kullanarak metinden konuşma sentezler ve dudak senkronizasyonu gerçekleştirir:

Standart Model

1. Metinden konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData işlevini çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Yerel TTS Uyumluluğu

Runtime Text To Speech eklentisi tarafından sağlanan yerel TTS, ONNX çalışma zamanı çakışmaları nedeniyle şu anda normal Gerçekçi model ile desteklenmemektedir. Normal Gerçekçi model ile metinden sese için şunları göz önünde bulundurun:

• Harici TTS hizmetleri (ElevenLabs, OpenAI, vb.) kullanma
• Harici yerel TTS çözümleri (Python tabanlı TTS, sistem TTS API'leri veya diğer ONNX olmayan yerel çözümler) kullanma
• Runtime Text To Speech eklentisini destekleyen Standart Model veya Duygu Etkin Gerçekçi Model kullanma

Duygu Etkin Gerçekçi Model

1. Metinden konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Duygu Etkin Dudak Senkronizasyonu Oluşturucunuzdan ProcessAudioData işlevini çağırın
5. Metin içeriğine veya istenen duygusal ifadeye dayalı olarak duygu ayarlarını yapılandırın

Kopyalanabilir düğümler.

Duygu Entegrasyonlu TTS:

• TTS oluşturmadan önce veya sırasında uygun duyguları ayarlayın
• Metnin duygusal tonuyla eşleşecek şekilde duygu yoğunluğunu ayarlayın
• Daha uzun metin içeriğinin farklı bölümleri için farklı duygular kullanın

Streaming

Bu yaklaşım, gerçek zamanlı dudak senkronizasyonu ile akışlı metinden sese sentez kullanır:

Standard Model

1. Metinden akışlı konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. Akışlı ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Realistic Model

Yerel TTS Uyumluluğu

Runtime Text To Speech eklentisi tarafından sağlanan Yerel TTS, ONNX çalışma zamanı çakışmaları nedeniyle şu anda normal Realistic modeli ile desteklenmemektedir. Normal Realistic modeli ile metinden sese için şunları göz önünde bulundurun:

• Harici TTS hizmetleri (ElevenLabs, OpenAI, vb.) kullanmak
• Harici yerel TTS çözümleri (Python tabanlı TTS, sistem TTS API'leri veya diğer ONNX olmayan yerel çözümler) kullanmak
• Runtime Text To Speech eklentisini destekleyen Standard Model veya Mood-Enabled Realistic Model kullanmak

Mood-Enabled Realistic Model

1. Metinden akışlı konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. Akışlı ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Mood-Enabled Lip Sync Generator'ınızdan ProcessAudioData fonksiyonunu çağırın
5. Gerekirse akış sırasında ruh hali ayarlarını dinamik olarak ayarlayın

Kopyalanabilir düğümler.

Metinden Konuşmaya (Harici API'ler)

Normal

Bu yaklaşım, AI servislerinden (OpenAI veya ElevenLabs) sentezlenmiş konuşma oluşturmak ve dudak senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır:

Standart Model

1. Harici API'ler (OpenAI, ElevenLabs, vb.) kullanarak metinden konuşma oluşturmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenmiş ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Etkin Gerçekçi Model

Duygu Etkin Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış

Bu yaklaşım, AI servislerinden (OpenAI veya ElevenLabs) sentezlenmiş akış konuşması üretmek ve dudak senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır:

Standart Model

1. Akış TTS API'lerine (ElevenLabs Streaming API gibi) bağlanmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenmiş ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. Akış ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyon içinde, Runtime Viseme Generator'ınızdan ProcessAudioData çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Durumu Etkin Gerçekçi Model

Ruh Durumu Etkin Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh durumu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Ses Dosyası/Arabelleğinden

Bu yaklaşım, dudak senkronizasyonu için önceden kaydedilmiş ses dosyalarını veya ses arabelleklerini kullanır:

Standart Model

1. Diskten veya bellekten bir ses dosyasını içe aktarmak için Runtime Audio Importer kullanın
2. İçe aktarılan ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
3. Bağlanan fonksiyon içinde, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın
4. İçe aktarılan ses dalgasını oynatın ve dudak senkronizasyon animasyonunu gözlemleyin

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Duygu Etkin Gerçekçi Model

Duygu Etkin Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış Ses Arabelleği

Bir arabellekten akış ses verisi için şunlara ihtiyacınız var:

Standart Model

1. Akış kaynağınızdan float PCM formatında ses verisi (kayan noktalı örneklerden oluşan bir dizi) mevcut olmalı (veya daha fazla formatı desteklemek için Runtime Audio Importer kullanın)
2. Örnekleme hızı ve kanal sayısı
3. Ses parçaları mevcut oldukça, Runtime Viseme Generator'ınızdan ProcessAudioData'yı bu parametrelerle çağırın

Kopyalanabilir düğümler.

Realistic Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile çalışır.

Kopyalanabilir düğümler.

Mood-Enabled Realistic Model

Duygu Etkin Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek duygu yapılandırma yetenekleri ile geliştirilmiştir.

Kopyalanabilir düğümler.

Not: Akış ses kaynakları kullanırken, bozuk ses oynatmayı önlemek için ses oynatma zamanlamasını uygun şekilde yönettiğinizden emin olun. Daha fazla bilgi için Streaming Sound Wave dokümantasyonuna bakın.

İşleme Performans İpuçları

• Yığın Boyutu: Daha duyarlı dudak senkronizasyonu için ses verilerini daha küçük yığınlarda işlemek isterseniz, SetNumSamplesPerChunk fonksiyonundaki hesaplamayı ayarlayın. Örneğin, örnekleme hızını 100'e bölmek (her ~10 ms'de akış) yerine 150'ye bölmek (her ~6.67 ms'de akış) daha sık dudak senkronizasyonu güncellemeleri sağlayacaktır.

• Tampon Yönetimi: Duygu etkin model, sesi 320-örnek karelerde işler (16kHz'de 20ms). Optimum performans için ses giriş zamanlamanızın buna uyumlu olduğundan emin olun.

• Üreteç Yeniden Oluşturma: Gerçekçi modellerle güvenilir çalışma için, bir hareketsizlik döneminden sonra yeni ses verisi beslemek istediğinizde üreteci her seferinde yeniden oluşturun.

Sonraki Adımlar

Ses işlemenizi kurduktan sonra şunları yapmak isteyebilirsiniz:

• Dudak senkronizasyonu davranışınızı hassas şekilde ayarlamak için Yapılandırma seçenekleri hakkında bilgi edinin
• Gelişmiş ifade gücü için kahkaha animasyonu ekleyin
• Yapılandırma kılavuzunda açıklanan katmanlama tekniklerini kullanarak dudak senkronizasyonunu mevcut yüz animasyonlarıyla birleştirin