Eklentiyi nasıl kullanırsınız

Bu kılavuz, MetaHuman karakterleriniz için Runtime MetaHuman Lip Sync'i kurma sürecinde size yol gösterir.

Not: Runtime MetaHuman Lip Sync hem MetaHuman hem de özel karakterlerle çalışır. Eklenti, aşağıdakiler dahil çeşitli karakter türlerini destekler:

• Popüler ticari karakterler (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, vb.)
• FACS tabanlı blendshape'lara sahip karakterler
• ARKit blendshape standartlarını kullanan modeller
• Preston Blair fonem setlerine sahip karakterler
• 3ds Max fonem sistemleri
• Yüz ifadeleri için özel morf hedefleri olan herhangi bir karakter

Yukarıdaki tüm standartlar için viseme haritalama referansları da dahil olmak üzere, özel karakterlerin kurulumu hakkında ayrıntılı talimatlar için Özel karakter kurulum kılavuzuna bakın.

Önkoşullar

Başlamadan önce, aşağıdakileri sağlayın:

1. MetaHuman eklentisinin projenizde etkinleştirilmiş olduğundan emin olun (Not: UE 5.6'dan itibaren, MetaHuman işlevselliği doğrudan motora entegre edildiği için bu adım artık gerekli değildir)
2. Projenizde en az bir MetaHuman karakter indirilmiş ve mevcut
3. Runtime MetaHuman Lip Sync eklentisi kurulu

Standart Model Uzantı Eklentisi

Standart (Daha Hızlı) Modeli kullanmayı planlıyorsanız, uzantı eklentisini kurmanız gerekir:

1. Standart Lip Sync Uzantı eklentisini Google Drive adresinden indirin
2. İndirilen arşivden klasörü projenizin Plugins klasörüne çıkarın (bu klasör yoksa oluşturun)
3. Projenizin bir C++ projesi olarak ayarlandığından emin olun (herhangi bir C++ kodunuz olmasa bile)
4. Projenizi yeniden derleyin

not

• Bu uzantı yalnızca Standart Modeli kullanmak istiyorsanız gerekir. Yalnızca Gerçekçi Model'e ihtiyacınız varsa, bu adımı atlayabilirsiniz.
• Eklentileri manuel olarak nasıl oluşturacağınız hakkında daha fazla bilgi için Eklentileri Oluşturma eğitimine bakın

Ek Eklentiler

• Ses yakalama (örneğin, mikrofon girişi) kullanmayı planlıyorsanız, Runtime Audio Importer eklentisini yükleyin.
• Metinden sese işlevselliğini eklentilerimle kullanmayı planlıyorsanız (kendi özel TTS'niz veya başka bir ses girişiniz olabilir), o zaman Runtime Audio Importer eklentisine ek olarak şunları da yükleyin:
  • Yerel TTS için, Runtime Text To Speech eklentisini.
  • Harici TTS sağlayıcıları (ElevenLabs, OpenAI) için, Runtime AI Chatbot Integrator eklentisini.

Kurulum Süreci

Adım 1: Yüz animasyon Blueprint'ini bulun ve değiştirin

UE 5.5 ve Öncesi (veya UE 5.6+'da Eski MetaHumans)

MetaHuman karakterinizin yüz animasyonları için kullanılacak bir Animation Blueprint'i değiştirmeniz gerekiyor. Varsayılan MetaHuman yüz Animation Blueprint'i şu konumda bulunur:

Content/MetaHumans/Common/Face/Face_AnimBP

Dudak senkronizasyonu işlevselliğini uygulamak için birkaç seçeneğiniz var:

Varsayılan Varlığı Doğrudan Düzenle (En Basit Seçenek)

Varsayılan Face_AnimBP'yi doğrudan açın ve değişikliklerinizi yapın. Yapılan değişiklikler bu Animation Blueprint'i kullanan tüm MetaHuman karakterlerini etkileyecektir.

Not: Bu yaklaşım kullanışlıdır ancak varsayılan Animation Blueprint'i kullanan tüm karakterleri etkileyecektir.

Kopya Oluştur

1. Face_AnimBP'yi çoğaltın ve ona açıklayıcı bir isim verin
2. Karakterinizin Blueprint sınıfını bulun (örneğin, "Bryan" karakteri için Content/MetaHumans/Bryan/BP_Bryan konumunda olacaktır)
3. Karakter Blueprint'ini açın ve Face bileşenini bulun
4. Anim Class özelliğini yeni oluşturduğunuz çoğaltılmış Animation Blueprint olarak değiştirin

Not: Bu yaklaşım, diğer karakterleri değiştirmeden bırakırken belirli karakterler için dudak senkronizasyonunu özelleştirmenize olanak tanır.

Özel Animation Blueprint Kullan

Dudak senkronizasyonu karıştırmasını, gerekli yüz kemiklerine erişimi olan herhangi bir Animation Blueprint'te uygulayabilirsiniz:

1. Özel bir Animation Blueprint oluşturun veya mevcut bir tane kullanın
2. Animation Blueprint'inizin, varsayılan MetaHuman'ın Face_Archetype_Skeleton'ıyla (herhangi bir MetaHuman karakteri için kullanılan standart iskelet) aynı yüz kemiklerini içeren bir iskeletle çalıştığından emin olun

Not: Bu yaklaşım, özel animasyon sistemleriyle entegrasyon için size maksimum esneklik sağlar.

UE 5.6+ MetaHuman Creator Karakterleri

UE 5.6 ile birlikte, geleneksel Face_AnimBP varlığı olmadan karakterler oluşturan yeni MetaHuman Creator sistemi tanıtıldı. Bu karakterler için, eklenti şu konumda bulunan bir yüz Animation Blueprint'i sağlar:

Content/LipSyncData/LipSync_Face_AnimBP

Önemli

Bu Animation Blueprint, eklentinin içerik klasöründe bulunur ve her eklenti güncellemesiyle üzerine yazılacaktır. Özelleştirmelerinizi kaybetmemek için şiddetle tavsiye edilir:

1. Bu varlığı projenizin Content klasörüne kopyalayın (örneğin, Projeniz/Content/MetaHumans/LipSync_Face_AnimBP)
2. Karakter kurulumunuzda kendi kopyalanmış sürümünüzü kullanın
3. Tüm değişikliklerinizi kopyalanmış sürüme yapın

Bu, dudak senkronizasyonu yapılandırmalarınızın eklenti güncellemeleri boyunca kalıcı olmasını sağlar.

Eklentinin Yüz Animation Blueprint'ini Kullanma:

1. MetaHuman Creator karakterinizin Blueprint sınıfını bulun
2. Karakter Blueprint'ini açın ve Face bileşenini bulun
3. Anim Class özelliğini eklentinin LipSync_Face_AnimBP olarak değiştirin
4. Runtime MetaHuman Lip Sync işlevselliğini yapılandırmak için 2-4. Adımlarla devam edin

Alternatif Seçenekler:

• Eski Talimatları Kullanın: Eski MetaHumans ile çalışıyorsanız veya geleneksel iş akışını tercih ediyorsanız yukarıdaki UE 5.5 talimatlarını takip edebilirsiniz
• Özel Animation Blueprint Oluşturun: MetaHuman Creator iskelet yapısıyla çalışan kendi Animation Blueprint'inizi oluşturun

Not: UE 5.6+ kullanıyorsanız ancak eski MetaHumans (MetaHuman Creator aracılığıyla oluşturulmamış) ile çalışıyorsanız, bunun yerine "UE 5.5 ve Öncesi" sekmesindeki talimatları kullanın.

Önemli: Runtime MetaHuman Lip Sync karıştırma, varsayılan MetaHuman'ın Face_Archetype_Skeleton'ında bulunan yüz kemiklerini içeren bir poza erişimi olan herhangi bir Animation Blueprint varlığında uygulanabilir. Yukarıdaki seçeneklerle sınırlı değilsiniz - bunlar sadece yaygın uygulama yaklaşımlarıdır.

Adım 2: Event Graph kurulumu

Yüz Animation Blueprint'inizi açın ve Event Graph'a geçin. Ses verilerini işleyecek ve dudak senkronizasyonu animasyonu oluşturacak bir jeneratör oluşturmanız gerekecek.

Standart (Daha Hızlı) Model

1. Zaten yoksa Event Blueprint Begin Play düğümünü ekleyin
2. Create Runtime Viseme Generator düğümünü ekleyin ve Begin Play olayına bağlayın
3. Çıktıyı grafiğin diğer bölümlerinde kullanılmak üzere bir değişken olarak kaydedin (ör. "VisemeGenerator")

Gerçekçi (Daha Yüksek Kaliteli) Model

1. Zaten yoksa Event Blueprint Begin Play düğümünü ekleyin
2. Create Realistic MetaHuman Lip Sync Generator düğümünü ekleyin ve Begin Play olayına bağlayın
3. Çıktıyı grafiğin diğer bölümlerinde kullanılmak üzere bir değişken olarak kaydedin (ör. "RealisticLipSyncGenerator")
4. (İsteğe bağlı) Yapılandırma parametresini kullanarak jeneratör ayarlarını yapılandırın
5. (İsteğe bağlı) Realistic MetaHuman Lip Sync Generator nesnesinde İşlem Parça Boyutu'nu ayarlayın


Not: Gerçekçi Model, özellikle MetaHuman karakterleri için optimize edilmiştir ve özel karakter türleriyle uyumlu değildir.

Yapılandırma Seçenekleri

Create Realistic MetaHuman Lip Sync Generator düğümü, oluşturucunun davranışını özelleştirmenize olanak tanıyan isteğe bağlı bir Configuration parametresi kabul eder:

Model Tipi

Model Type ayarı, gerçekçi modelin hangi sürümünün kullanılacağını belirler:

Model Tipi	Performans	Görsel Kalite	Gürültü İşleme	Önerilen Kullanım Senaryoları
Highly Optimized (Varsayılan)	En yüksek performans, en düşük CPU kullanımı	İyi kalite	Arka plan gürültüsü veya ses olmayan seslerde fark edilebilir ağız hareketleri gösterebilir	Temiz ses ortamları, performansın kritik olduğu senaryolar
Optimized	İyi performans, orta düzeyde CPU kullanımı	Yüksek kalite	Gürültülü sesle daha iyi kararlılık	Dengeli performans ve kalite, karışık ses koşulları
Original Unoptimized	Modern CPU'larda gerçek zamanlı kullanım için uygun	En yüksek kalite	Arka plan gürültüsü ve ses olmayan seslerle en kararlı	Yüksek kaliteli prodüksiyonlar, gürültülü ses ortamları, maksimum doğruluk gerektiğinde

Performans Ayarları

Intra Op Threads: Modelin iç işlem operasyonları için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılama kullanır (tipik olarak mevcut CPU çekirdeklerinin 1/4'ü, maksimum 4)
• 1-16: Manuel olarak iş parçacığı sayısını belirtin. Daha yüksek değerler çok çekirdekli sistemlerde performansı artırabilir ancak daha fazla CPU kullanır

Inter Op Threads: Farklı model operasyonlarının paralel yürütülmesi için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılama kullanır (tipik olarak mevcut CPU çekirdeklerinin 1/8'i, maksimum 2)
• 1-8: Manuel olarak iş parçacığı sayısını belirtin. Genellikle gerçek zamanlı işleme için düşük tutulur

Yapılandırma Kullanımı

Oluşturucuyu yapılandırmak için:

1. Create Realistic MetaHuman Lip Sync Generator düğümünde, Configuration parametresini genişletin
2. Model Type'ı tercih ettiğiniz seçeneğe ayarlayın:
   • En iyi performans için Highly Optimized kullanın (çoğu kullanıcı için önerilir)
   • Dengeli performans ve kalite için Optimized kullanın
   • Yalnızca maksimum kalite gerekli olduğunda Original Unoptimized kullanın
3. Gerekirse Intra Op Threads ve Inter Op Threads'i ayarlayın (çoğu durumda otomatik algılama için 0'da bırakın) Performans Önerileri:

• Temiz ses içeren çoğu proje için en iyi performans için Yüksek Optimizasyonlu kullanın
• Arka plan gürültüsü, müzik veya konuşma dışı sesler içeren seslerle çalışıyorsanız, daha iyi kararlılık için Optimize Edilmiş veya Orijinal Optimize Edilmemiş modelleri kullanmayı düşünün
• Yüksek Optimizasyonlu model, model oluşturma sırasında uygulanan optimizasyon teknikleri nedeniyle konuşma dışı sesleri işlerken ince ağız hareketleri gösterebilir
• Orijinal Optimize Edilmemiş model, daha fazla CPU kaynağı gerektirse de modern donanımlarda gerçek zamanlı uygulamalar için hala uygundur ve zorlu ses koşullarında en doğru sonuçları sağlar
• Yalnızca performans sorunları yaşıyorsanız veya belirli optimizasyon gereksinimleriniz varsa iş parçacığı sayılarını ayarlayın
• Daha yüksek iş parçacığı sayıları her zaman daha iyi performans anlamına gelmez - optimal değerler belirli donanımınıza ve proje gereksinimlerinize bağlıdır

İşlem Parça Boyutu Yapılandırması: İşlem Parça Boyutu, her çıkarım adımında kaç örneğin işlendiğini belirler. Varsayılan değer 160 örnek'tir, bu da 16kHz'de (dahili işlem örnekleme hızı) 10ms'lik sese karşılık gelir. Bu değeri güncelleme sıklığı ve CPU kullanımı arasında dengelemek için ayarlayabilirsiniz:

• Daha küçük değerler daha sık güncellemeler sağlar ancak CPU kullanımını artırır
• Daha büyük değerler CPU yükünü azaltır ancak dudak senkronizasyonu tepkiselliğini azaltabilir

İşlem Parça Boyutu'nu ayarlamak için:

1. Realistic MetaHuman Lip Sync Generator nesnenize erişin
2. Processing Chunk Size özelliğini bulun
3. İstediğiniz değeri ayarlayın

160'ın katları olan değerler kullanmanız önerilir. Bu, modelin dahili işlem yapısıyla uyum sağlar. Önerilen değerler şunları içerir:

• 160 (varsayılan, minimum önerilen)
• 320
• 480
• 640
• vb.

Varsayılan İşlem Parça Boyutu olan 160 örnek, 16kHz'de 10ms'lik sese karşılık gelir. 160'ın katlarını kullanmak bu temel birimle hizalamayı korur, bu da işlem verimliliğini optimize etmeye ve farklı parça boyutları arasında tutarlı davranışı sürdürmeye yardımcı olabilir.

Realistic Model Generator Yeniden Oluşturma

Realistic Model ile güvenilir ve tutarlı çalışma için, hareketsizlik dönemlerinden sonra yeni ses verisi beslemek istediğinizde her seferinde Realistic MetaHuman Lip Sync Generator'ı yeniden oluşturmanız gerekir. Bunun nedeni, sessizlik dönemlerinden sonra generator'ları yeniden kullanırken dudak senkronizasyonunun çalışmayı durdurabilmesine neden olan ONNX çalışma zamanı davranışıdır.

Örnek senaryo: TTS dudak senkronizasyonu yaptıysanız ve ardından durdurduysanız, daha sonra yeni sesle tekrar dudak senkronizasyonu yapmak istediğinizde, mevcut olanı yeniden kullanmak yerine yeni bir Realistic MetaHuman Lip Sync Generator oluşturun.

Adım 3: Ses girişi işleme kurulumu

Ses girişini işlemek için bir yöntem kurmanız gerekir. Ses kaynağınıza bağlı olarak bunu yapmanın birkaç yolu vardır.

Mikrofon (Gerçek Zamanlı)

Bu yaklaşım, mikrofon konuşurken dudak senkronizasyonunu gerçek zamanlı olarak gerçekleştirir:

Standart (Daha Hızlı) Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
2. Ses yakalamaya başlamadan önce, OnPopulateAudioData delegesine bağlanın
3. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın
4. Mikrofondan ses yakalamayı başlatın

Kopyalanabilir düğümler.

Gerçekçi (Daha Yüksek Kaliteli) Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Standart Model için gösterilen her örnekte, basitçe şunları değiştirin:

• VisemeGenerator'ı RealisticLipSyncGenerator değişkeniniz ile
• Fonksiyon isimleri ve parametreleri her iki model arasında aynı kalır

Kopyalanabilir düğümler.

Mikrofon (Oynatma)

Bu yaklaşım, bir mikrofondan ses yakalar, ardından dudak senkronizasyonu ile oynatır:

Standart (Daha Hızlı) Model

1. Runtime Audio Importer kullanarak bir Capturable Sound Wave oluşturun
2. Mikrofondan ses yakalamayı başlatın
3. Capturable sound wave'i oynatmadan önce, onun OnGeneratePCMData delegesine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.

Realistic (Higher Quality) Model

Realistik Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile çalışır.

Standart Model için gösterilen her bir örnekte, basitçe şunları değiştirin:

• VisemeGenerator yerine RealisticLipSyncGenerator değişkeninizi kullanın
• Fonksiyon isimleri ve parametreleri her iki model arasında aynı kalır

Kopyalanabilir düğümler.

Not: Daha duyarlı bir lip senkronizasyonu için ses verilerini daha küçük parçalar halinde işlemek istiyorsanız, SetNumSamplesPerChunk fonksiyonundaki hesaplamayı ayarlayın. Örneğin, örnekleme hızını 100'e (her 10 ms'de bir akış) bölmek yerine 150'ye bölmek (her ~6.67 ms'de bir akış), daha sık lip senkronizasyonu güncellemeleri sağlayacaktır.

Text-to-Speech (Local)

Regular

Bu yaklaşım, metinden konuşma sentezler ve lip senkronizasyonu gerçekleştirir:

Standard (Faster) Model

1. Metinden konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Realistic (Higher Quality) Model

Yerel TTS Uyumluluğu

Runtime Text To Speech eklentisi tarafından sağlanan yerel TTS, ONNX runtime çakışmaları nedeniyle şu anda Realistik model ile desteklenmemektedir. Realistik model ile metinden sese için, harici TTS servislerini (OpenAI veya ElevenLabs gibi, Runtime AI Chatbot Integrator aracılığıyla) kullanmayı düşünün veya bunun yerine Standart modeli kullanın.

Not: Daha duyarlı bir lip senkronizasyonu için ses verilerini daha küçük parçalar halinde işlemek istiyorsanız, SetNumSamplesPerChunk fonksiyonundaki hesaplamayı ayarlayın. Örneğin, örnekleme hızını 100'e (her 10 ms'de bir akış) bölmek yerine 150'ye bölmek (her ~6.67 ms'de bir akış), daha sık lip senkronizasyonu güncellemeleri sağlayacaktır.

Streaming

Bu yaklaşım, gerçek zamanlı dudak senkronizasyonu ile akışlı metinden sese sentez kullanır:

Standard (Daha Hızlı) Model

1. Metinden akışlı konuşma oluşturmak için Runtime Text To Speech kullanın
2. Sentezlenen sesi içe aktarmak için Runtime Audio Importer kullanın
3. Akışlı ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.

Realistic (Daha Yüksek Kalite) Model

Yerel TTS Uyumluluğu

Runtime Text To Speech eklentisi tarafından sağlanan yerel TTS, ONNX çalışma zamanı çakışmaları nedeniyle şu anda Realistic model ile desteklenmemektedir. Realistic model ile metinden sese için harici TTS servislerini (OpenAI veya ElevenLabs gibi, Runtime AI Chatbot Integrator aracılığıyla) kullanmayı düşünün veya bunun yerine Standard modeli kullanın.

Not: Daha duyarlı dudak senkronizasyonu için ses verilerini daha küçük parçalar halinde işlemek istiyorsanız, SetNumSamplesPerChunk fonksiyonundaki hesaplamayı ayarlayın. Örneğin, örnekleme hızını 100'e (her ~10 ms'de bir akış) bölmek yerine 150'ye (her ~6.67 ms'de bir akış) bölmek, daha sık dudak senkronizasyonu güncellemeleri sağlayacaktır.

Text-to-Speech (Harici API'ler)

Regular

Bu yaklaşım, AI servislerinden (OpenAI veya ElevenLabs) sentezlenmiş konuşma oluşturmak ve dudak senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır:

Standard (Daha Hızlı) Model

1. Harici API'ler (OpenAI, ElevenLabs, vb.) kullanarak metinden konuşma oluşturmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenen ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. İçe aktarılan ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın

Kopyalanabilir düğümler.


Realistic (Higher Quality) Model

Realistik Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Standart Model için gösterilen her bir örnekte, basitçe şunları değiştirin:

• VisemeGenerator değişkenini kendi RealisticLipSyncGenerator değişkeninizle
• Fonksiyon isimleri ve parametreleri her iki model arasında aynı kalır

Kopyalanabilir düğümler.

Not: Daha duyarlı lip senkronizasyonu için ses verilerini daha küçük parçalar halinde işlemek istiyorsanız, SetNumSamplesPerChunk fonksiyonundaki hesaplamayı ayarlayın. Örneğin, örnekleme hızını 100'e (her 10 ms'de bir akış) bölmek yerine 150'ye bölmek (yaklaşık her 6.67 ms'de bir akış), daha sık lip senkronizasyonu güncellemeleri sağlayacaktır.

Streaming

Bu yaklaşım, AI servislerinden (OpenAI veya ElevenLabs) sentezlenmiş akış konuşması üretmek ve lip senkronizasyonu gerçekleştirmek için Runtime AI Chatbot Integrator eklentisini kullanır:

Standard (Faster) Model

1. Akış TTS API'lerine (ElevenLabs Streaming API gibi) bağlanmak için Runtime AI Chatbot Integrator kullanın
2. Sentezlenmiş ses verilerini içe aktarmak için Runtime Audio Importer kullanın
3. Akış ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
4. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData fonksiyonunu çağırın

Kopyalanabilir düğümler.

Realistic (Higher Quality) Model

Realistik Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Standart Model için gösterilen her bir örnekte, basitçe şunları değiştirin:

• VisemeGenerator değişkenini kendi RealisticLipSyncGenerator değişkeninizle
• Fonksiyon isimleri ve parametreleri her iki model arasında aynı kalır

Kopyalanabilir düğümler.

Not: Daha duyarlı bir dudak senkronizasyonu için ses verilerini daha küçük parçalar halinde işlemek istiyorsanız, SetNumSamplesPerChunk fonksiyonundaki hesaplamayı ayarlayın. Örneğin, örnekleme hızını 100'e (her 10 ms'de bir akış) bölmek yerine 150'ye (yaklaşık her 6.67 ms'de bir akış) bölmek, daha sık dudak senkronizasyonu güncellemeleri sağlayacaktır.

Ses Dosyası/Arabellekten

Bu yaklaşım, önceden kaydedilmiş ses dosyalarını veya ses arabelleklerini dudak senkronizasyonu için kullanır:

Standart (Daha Hızlı) Model

1. Diskten veya bellekten bir ses dosyasını içe aktarmak için Runtime Audio Importer kullanın
2. İçe aktarılan ses dalgasını oynatmadan önce, onun OnGeneratePCMData temsilcisine bağlanın
3. Bağlanan fonksiyonda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı çağırın
4. İçe aktarılan ses dalgasını oynatın ve dudak senkronizasyon animasyonunu gözlemleyin

Kopyalanabilir düğümler.

Gerçekçi (Daha Yüksek Kaliteli) Model

Gerçekçi Model, Standart Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Standart Model için gösterilen her bir örnekte, basitçe şunları değiştirin:

• VisemeGenerator'ı RealisticLipSyncGenerator değişkeninizle
• Fonksiyon isimleri ve parametreleri her iki model arasında aynı kalır

Kopyalanabilir düğümler.

Not: Daha duyarlı bir dudak senkronizasyonu için ses verilerini daha küçük parçalar halinde işlemek istiyorsanız, SetNumSamplesPerChunk fonksiyonundaki hesaplamayı ayarlayın. Örneğin, örnekleme hızını 100'e (her 10 ms'de bir akış) bölmek yerine 150'ye (yaklaşık her 6.67 ms'de bir akış) bölmek, daha sık dudak senkronizasyonu güncellemeleri sağlayacaktır.

Streaming Audio Buffer

Bir tampondan akış ses verisi için şunlara ihtiyacınız var:

Standard (Daha Hızlı) Model

1. Akış kaynağınızdan gelen float PCM formatında ses verisi (kayan noktalı örneklerden oluşan bir dizi)
2. Örnekleme hızı ve kanal sayısı
3. Ses parçaları hazır olduğunda, Runtime Viseme Generator'ınızdan ProcessAudioData'yı bu parametrelerle çağırın

Akış ses verisinden dudak senkronizasyonu işleme örneği:

Kopyalanabilir düğümler.

Not: Akış ses kaynaklarını kullanırken, bozuk ses oynatmayı önlemek için ses oynatma zamanlamasını uygun şekilde yönetin. Doğru akış ses yönetimi hakkında daha fazla bilgi için Akış Ses Dalgası belgelerine bakın.

Realistic (Daha Yüksek Kalite) Model

Realistic Model, Standard Model ile aynı ses işleme iş akışını kullanır, ancak VisemeGenerator yerine RealisticLipSyncGenerator değişkeni ile.

Standard Model için gösterilen her örnekte, basitçe şunları değiştirin:

• VisemeGenerator'ı RealisticLipSyncGenerator değişkeninizle
• Fonksiyon isimleri ve parametreler her iki model arasında aynı kalır

Kopyalanabilir düğümler.

Not: Akış ses kaynaklarını kullanırken, bozuk ses oynatmayı önlemek için ses oynatma zamanlamasını uygun şekilde yönetin. Doğru akış ses yönetimi hakkında daha fazla bilgi için Akış Ses Dalgası belgelerine bakın.

Not: Daha duyarlı dudak senkronizasyonu için ses verisini daha küçük parçalar halinde işlemek istiyorsanız, SetNumSamplesPerChunk fonksiyonundaki hesaplamayı ayarlayın. Örneğin, örnekleme hızını 100'e (her 10 ms'de bir akış) bölmek yerine 150'ye bölmek (yaklaşık her 6.67 ms'de bir akış), daha sık dudak senkronizasyonu güncellemeleri sağlayacaktır.

Adım 4: Anim Graph kurulumu

Event Graph'ı kurduktan sonra, üreteci karakterin animasyonuna bağlamak için Anim Graph'a geçin:

Dudak Senkronizasyonu

Standart (Daha Hızlı) Model

1. MetaHuman yüzünü içeren pozu bulun (genellikle Use cached pose 'Body Pose''dan)
2. Blend Runtime MetaHuman Lip Sync düğümünü ekleyin
3. Pozu Blend Runtime MetaHuman Lip Sync düğümünün Source Pose'una bağlayın
4. RuntimeVisemeGenerator değişkeninizi Viseme Generator pinine bağlayın
5. Blend Runtime MetaHuman Lip Sync düğümünün çıkışını Output Pose'un Result pinine bağlayın

Seste dudak senkronizasyonu algılandığında, karakteriniz buna göre dinamik olarak canlanacaktır:

Gerçekçi (Daha Yüksek Kaliteli) Model

1. MetaHuman yüzünü içeren pozu bulun (genellikle Use cached pose 'Body Pose''dan)
2. Blend Realistic MetaHuman Lip Sync düğümünü ekleyin
3. Pozu Blend Realistic MetaHuman Lip Sync düğümünün Source Pose'una bağlayın
4. RealisticLipSyncGenerator değişkeninizi Lip Sync Generator pinine bağlayın
5. Blend Realistic MetaHuman Lip Sync düğümünün çıkışını Output Pose'un Result pinine bağlayın

Gerçekçi Model, daha doğal ağız hareketleriyle gelişmiş görsel kalite sunar:

Not: Gerçekçi Model yalnızca MetaHuman karakterler için tasarlanmıştır ve özel karakter türleriyle uyumlu değildir.

Kahkaha Animasyonu

Seste algılanan kahkahalara dinamik olarak yanıt verecek kahkaha animasyonları da ekleyebilirsiniz:

1. Blend Runtime MetaHuman Laughter düğümünü ekleyin
2. RuntimeVisemeGenerator değişkeninizi Viseme Generator pinine bağlayın
3. Zaten dudak senkronizasyonu kullanıyorsanız:
   • Blend Runtime MetaHuman Lip Sync düğümünün çıkışını Blend Runtime MetaHuman Laughter düğümünün Source Pose'una bağlayın
   • Blend Runtime MetaHuman Laughter düğümünün çıkışını Output Pose'un Result pinine bağlayın
4. Yalnızca dudak senkronizasyonu olmadan kahkaha kullanıyorsanız:
   • Kaynak pozu doğrudan Blend Runtime MetaHuman Laughter düğümünün Source Pose'una bağlayın
   • Çıkışı Result pinine bağlayın

Seste kahkaha algılandığında, karakteriniz buna göre dinamik olarak canlanacaktır:

Yüz ve Vücut Animasyonlarıyla Birleştirme

Mevcut vücut animasyonları ve özel yüz animasyonlarını (ifadeler, duygular veya diğer yüz hareketleri gibi) geçersiz kılmadan dudak senkronizasyonu ve kahkaha uygulamak için:

1. Vücut animasyonlarınız ve son çıktı arasına bir Layered blend per bone düğümü ekleyin. Use Attached Parent seçeneğinin true olduğundan emin olun.
2. Katman kurulumunu yapılandırın:
   • Layer Setup dizisine 1 öğe ekleyin
   • Katman için Branch Filters'a 3 öğe ekleyin, aşağıdaki Bone Name'lerle:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Özel yüz animasyonları için önemli: Curve Blend Option'da "Use Max Value" seçin. Bu, özel yüz animasyonlarının (ifadeler, duygular vb.) dudak senkronizasyonunun üzerine düzgün şekilde katmanlanmasını sağlar.
4. Bağlantıları yapın:
   • Mevcut animasyonlar (BodyPose gibi) → Base Pose girişi
   • Yüz animasyon çıktısı (dudak senkronizasyonu ve/veya kahkaha düğümlerinden) → Blend Poses 0 girişi
   • Layered blend düğümü → Son Result pozu

Neden işe yarıyor: Dal filtreleri, yüz animasyon kemiklerini izole ederek dudak senkronizasyonu ve kahkahaların yüz hareketleriyle özel olarak harmanlanmasını sağlarken orijinal vücut animasyonlarını korur. "Use Max Value" eğri harmanlama seçeneği, eğrileri toplamsal olarak harmanlamak yerine her eğriden maksimum değeri alarak, özel yüz animasyonlarının (ifadeler ve duygular gibi) dudak senkronizasyonuyla çakışma olmadan düzgün şekilde birleştirilmesini sağlar. Bu, doğal entegrasyon için MetaHuman yüz rig yapısıyla eşleşir.

Not: Dudak senkronizasyonu ve kahkaha özellikleri, mevcut animasyon kurulumunuzla yıkıcı olmayan şekilde çalışmak üzere tasarlanmıştır. Sadece ağız hareketi için gereken belirli yüz kemiklerini etkilerler, diğer yüz animasyonlarını olduğu gibi bırakırlar. Bu, onları animasyon zincirinizde herhangi bir noktada güvenle entegre edebileceğiniz anlamına gelir - diğer yüz animasyonlarından önce (bu animasyonların dudak senkronizasyonu/kahkahayı geçersiz kılmasına izin vererek) veya onlardan sonra (dudak senkronizasyonu/kahkahanın mevcut animasyonlarınızın üzerine harmanlanmasına izin vererek). Bu esneklik, dudak senkronizasyonu ve kahkahayı göz kırpma, kaş hareketleri, duygusal ifadeler ve diğer yüz animasyonlarıyla çakışma olmadan birleştirmenize olanak tanır.

Dudak Senkronizasyonu Davranışını İnce Ayar

Temel dudak senkronizasyonu işlevselliğini kurduktan sonra, projenizin gereksinimlerine daha iyi uyması için ağız hareketinin belirli yönlerini ince ayar yapmak isteyebilirsiniz.

Dil Çıkıntı Kontrolü

Standart dudak senkronizasyonu modelinde, belirli fonemler sırasında aşırı ileri dil hareketi fark edebilirsiniz. Dil çıkıntısını kontrol etmek için:

1. Blend Runtime MetaHuman Lip Sync veya Blend Realistic MetaHuman Lip Sync düğümünüzden sonra bir Modify Curve düğümü ekleyin
2. Modify Curve düğümüne sağ tıklayın ve Add Curve Pin seçeneğini seçin
3. CTRL_expressions_tongueOut adında bir curve pini ekleyin
4. Düğümün Apply Mode özelliğini Scale olarak ayarlayın
5. Dil çıkıntısını kontrol etmek için Value parametresini ayarlayın (örneğin, çıkıntıyı %20 azaltmak için 0.8)

Çene Açma Kontrolü

Gerçekçi dudak senkronizasyonu, ses içeriğinize ve görsel gereksinimlerinize bağlı olarak aşırı duyarlı çene hareketleri üretebilir. Çene açma yoğunluğunu ayarlamak için:

1. Dudak senkronizasyonu blend düğümünüzden sonra bir Modify Curve düğümü ekleyin
2. Modify Curve düğümüne sağ tıklayın ve Add Curve Pin seçeneğini seçin
3. CTRL_expressions_jawOpen adında bir curve pini ekleyin
4. Düğümün Apply Mode özelliğini Scale olarak ayarlayın
5. Çene hareket aralığını kontrol etmek için Value parametresini ayarlayın (örneğin, çene hareketini %10 azaltmak için 0.9)

Yapılandırma

Dudak Senkronizasyonu Yapılandırması

Standard (Daha Hızlı) Model

Blend Runtime MetaHuman Lip Sync düğümünün özellikler panelinde yapılandırma seçenekleri bulunur:

Özellik	Varsayılan	Açıklama
Interpolation Speed	25	Dudak hareketlerinin visemler arasında ne kadar hızlı geçiş yaptığını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlere neden olur.
Reset Time	0.2	Dudak senkronizasyonunun sıfırlandığı saniye cinsinden süre. Bu, ses durduktan sonra dudak senkronizasyonunun devam etmesini önlemek için kullanışlıdır.

Realistic (Daha Yüksek Kaliteli) Model

Blend Realistic MetaHuman Lip Sync düğümünün özellikler panelinde yapılandırma seçenekleri bulunur:

Özellik	Varsayılan	Açıklama
Interpolation Speed	30	Dudak hareketlerinin pozisyonlar arasında ne kadar hızlı geçiş yaptığını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlere neden olur.
Reset Time	0.2	Dudak senkronizasyonunun sıfırlandığı saniye cinsinden süre. Bu, ses durduktan sonra dudak senkronizasyonunun devam etmesini önlemek için kullanışlıdır.

Kahkaha Yapılandırması

Blend Runtime MetaHuman Laughter düğümünün kendi yapılandırma seçenekleri vardır:

Özellik	Varsayılan	Açıklama
Interpolation Speed	25	Dudak hareketlerinin kahkaha animasyonları arasında ne kadar hızlı geçiş yaptığını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlere neden olur.
Reset Time	0.2	Kahkahanın sıfırlandığı saniye cinsinden süre. Bu, ses durduktan sonra kahkahanın devam etmesini önlemek için kullanışlıdır.
Max Laughter Weight	0.7	Kahkaha animasyonunun maksimum yoğunluğunu ölçeklendirir (0.0 - 1.0).

Dudak Senkronizasyonu Modelleri Arasında Seçim Yapma

Projeniz için hangi dudak senkronizasyonu modelini kullanacağınıza karar verirken şu faktörleri göz önünde bulundurun:

Değerlendirme	Standart Model	Gerçekçi Model
Karakter Uyumluluğu	MetaHumans ve tüm özel karakter türleri	Sadece MetaHumans
Görsel Kalite	Verimli performansla iyi dudak senkronizasyonu	Daha doğal ağız hareketleriyle geliştirilmiş gerçekçilik
Performans	Mobil/VR dahil tüm platformlar için optimize edilmiş	Biraz daha yüksek kaynak gereksinimi
Kullanım Senaryoları	Genel uygulamalar, oyunlar, VR/AR, mobil	Sinematik deneyimler, yakın plan karakter etkileşimleri

Motor Sürümü Uyumluluğu

UE 5.2 Uyumluluk Sorunu

Unreal Engine 5.2 kullanıyorsanız, UE'nin yeniden örnekleme kütüphanesindeki bir hata nedeniyle Gerçekçi Model doğru çalışmayabilir. Güvenilir dudak senkronizasyonu işlevselliğine ihtiyaç duyan UE 5.2 kullanıcıları lütfen bunun yerine Standart Model'i kullanın.

Bu sorun özellikle UE 5.2'ye özgüdür ve diğer motor sürümlerini etkilemez.

Çoğu proje için, Standart Model en geniş karakter türü yelpazesini desteklerken kalite ve performans arasında mükemmel bir denge sunar. Gerçekçi Model, performans ek yükünün daha az kritik olduğu bağlamlarda özellikle MetaHuman karakterleri için en yüksek görsel doğruluğa ihtiyaç duyduğunuzda idealdir.