Ses İşleme Kılavuzu

Bu kılavuz, dudak senkronizasyonu üreteçlerinize ses verisi beslemek için farklı ses giriş yöntemlerini nasıl kuracağınızı kapsar. Devam etmeden önce Kurulum Kılavuzu'nu tamamladığınızdan emin olun.

Ses Giriş İşleme

Ses girişini işlemek için bir yöntem kurmanız gerekiyor. Ses kaynağınıza bağlı olarak bunu yapmanın birkaç yolu vardır.

Mikrofon (Gerçek Zamanlı)

Bu yaklaşım, mikrofonla konuşurken dudak senkronizasyonunu gerçek zamanlı olarak gerçekleştirir:

Standart Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
   • Pixel Streaming ile Linux için, bunun yerine Pixel Streaming Capturable Sound Wave kullanın
2. Ses yakalamaya başlamadan önce, OnPopulateAudioData temsilcisine bağlanın
3. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın
4. Mikrofondan ses yakalamaya başlayın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkinleştirilmiş Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Mikrofon (Oynatma)

Bu yaklaşım, bir mikrofondan ses yakalar, ardından dudak senkronizasyonu ile oynatır:

Standart Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
   • Pixel Streaming ile Linux için, bunun yerine Pixel Streaming Capturable Sound Wave kullanın
2. Mikrofondan ses yakalamaya başlayın
3. Yakalanabilir ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkinleştirilmiş Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Metinden Sese (Yerel)

Düzenli

Bu yaklaşım, yerel TTS kullanarak metinden konuşma sentezler ve dudak senkronizasyonu gerçekleştirir:

Standart Model

1. Metinden konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkinleştirilmiş Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış

Bu yaklaşım, gerçek zamanlı dudak senkronizasyonu ile akış metinden sese sentezi kullanır:

Standart Model

1. Metinden akış konuşması oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. Akış ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkinleştirilmiş Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Metinden Sese (Harici API'lar)

Düzenli

Bu yaklaşım, Runtime AI Chatbot Integrator eklentisini kullanarak AI servislerinden (OpenAI veya ElevenLabs) sentezlenmiş konuşma oluşturur ve dudak senkronizasyonu gerçekleştirir:

Standart Model

1. Harici API'lar (OpenAI, ElevenLabs, vb.) kullanarak metinden konuşma oluşturmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenen ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkinleştirilmiş Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış

Bu yaklaşım, Runtime AI Chatbot Integrator eklentisini kullanarak AI servislerinden (OpenAI veya ElevenLabs) sentezlenmiş akış konuşması oluşturur ve dudak senkronizasyonu gerçekleştirir:

Standart Model

1. Akış TTS API'larına (ElevenLabs Streaming API gibi) bağlanmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenen ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. Akış ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkinleştirilmiş Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Ses Dosyası/Arabelleğinden

Bu yaklaşım, dudak senkronizasyonu için önceden kaydedilmiş ses dosyalarını veya ses arabelleklerini kullanır:

Standart Model

1. Diskten veya bellekten bir ses dosyasını içe aktarmak için Runtime Audio Importer kullanın
2. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
3. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın
4. İçe aktarılan ses dalgasını oynatın ve dudak senkronizasyonu animasyonunu gözlemleyin

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkinleştirilmiş Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Akış Ses Arabelleği

Bir arabellekten akış ses verisi için şunlara ihtiyacınız var:

Standart Model

1. Akış kaynağınızdan kayan nokta PCM formatında ses verisi (kayan nokta örneklerinden oluşan bir dizi) (veya daha fazla formatı desteklemek için Runtime Audio Importer kullanın)
2. Örnekleme hızı ve kanal sayısı
3. Ses parçaları mevcut oldukça, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu bu parametrelerle çağırın

Kopyalanabilir düğümler.

Gerçekçi Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Kopyalanabilir düğümler.

Ruh Hali Etkinleştirilmiş Gerçekçi Model

Ruh Hali Etkinleştirilmiş Model aynı ses işleme iş akışını kullanır, ancak MoodMetaHumanLipSyncGenerator değişkeni ve ek ruh hali yapılandırma yetenekleri ile.

Kopyalanabilir düğümler.

Not: Akış ses kaynakları kullanırken, bozuk oynatmayı önlemek için ses oynatma zamanlamasını uygun şekilde yönettiğinizden emin olun. Daha fazla bilgi için Streaming Sound Wave belgelerine bakın.

İşleme Performans İpuçları

• Parça Boyutu: Daha duyarlı dudak senkronizasyonu için ses verilerini daha küçük parçalarda işlemek istiyorsanız, SetNumSamplesPerChunk fonksiyonundaki hesaplamayı ayarlayın. Örneğin, örnekleme hızını 100'e bölmek (her ~10 ms'de akış) yerine 150'ye bölmek (her ~6.67 ms'de akış), daha sık dudak senkronizasyonu güncellemeleri sağlayacaktır.

• Arabellek Yönetimi: Ruh hali etkinleştirilmiş model, sesi 320 örnekli karelerde (16kHz'de 20ms) işler. Optimum performans için ses giriş zamanlamanızın buna uyumlu olduğundan emin olun.

• Üreteç Yeniden Oluşturma: Gerçekçi modellerle güvenilir çalışma için, bir süre hareketsizlikten sonra yeni ses verisi beslemek istediğinizde üreteci her seferinde yeniden oluşturun.

Sonraki Adımlar

Ses işlemeyi kurduktan sonra şunları yapmak isteyebilirsiniz:

• Dudak senkronizasyonu davranışınızı hassas ayarlamak için Yapılandırma seçenekleri hakkında bilgi edinin
• Gelişmiş ifade için kahkaha animasyonu ekleyin
• Dudak senkronizasyonunu, Yapılandırma kılavuzunda açıklanan katmanlama tekniklerini kullanarak mevcut yüz animasyonlarıyla birleştirin