Eklenti Yapılandırması

Model Yapılandırması

Standart Model Yapılandırması

Create Runtime Viseme Generator düğümü, çoğu senaryo için iyi çalışan varsayılan ayarları kullanır. Yapılandırma, Animation Blueprint karıştırma düğümü özellikleri aracılığıyla ele alınır.

Animation Blueprint yapılandırma seçenekleri için aşağıdaki Lip Sync Yapılandırması bölümüne bakın.

Gerçekçi Model Yapılandırması

Create Realistic MetaHuman Lip Sync Generator düğümü, oluşturucunun davranışını özelleştirmenize izin veren isteğe bağlı bir Configuration parametresi kabul eder:

Model Türü

Model Type ayarı, gerçekçi modelin hangi sürümünün kullanılacağını belirler:

Model Türü	Performans	Görsel Kalite	Gürültü İşleme	Önerilen Kullanım Senaryoları
Highly Optimized (Varsayılan)	En yüksek performans, en düşük CPU kullanımı	İyi kalite	Arka plan gürültüsü veya ses olmayan seslerle fark edilebilir ağız hareketleri gösterebilir	Temiz ses ortamları, performans kritik senaryolar
Semi-Optimized	İyi performans, orta düzeyde CPU kullanımı	Yüksek kalite	Gürültülü sesle daha iyi kararlılık	Dengeli performans ve kalite, karışık ses koşulları
Original	Modern CPU'lar üzerinde gerçek zamanlı kullanım için uygun	En yüksek kalite	Arka plan gürültüsü ve ses olmayan seslerle en kararlı	Yüksek kaliteli prodüksiyonlar, gürültülü ses ortamları, maksimum doğruluk gerektiğinde

Performans Ayarları

Intra Op Threads: Dahili model işleme operasyonları için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılama kullanır (tipik olarak mevcut CPU çekirdeklerinin 1/4'ü, maksimum 4)
• 1-16: Manuel olarak iş parçacığı sayısını belirtin. Daha yüksek değerler çok çekirdekli sistemlerde performansı iyileştirebilir ancak daha fazla CPU kullanır

Inter Op Threads: Farklı model operasyonlarının paralel yürütülmesi için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılama kullanır (tipik olarak mevcut CPU çekirdeklerinin 1/8'i, maksimum 2)
• 1-8: Manuel olarak iş parçacığı sayısını belirtin. Genellikle gerçek zamanlı işleme için düşük tutulur

İşleme Parça Boyutu

Processing Chunk Size, her çıkarım adımında kaç örneğin işlendiğini belirler. Varsayılan değer 160 örnektir (16kHz'de 10ms ses):

• Daha küçük değerler daha sık güncellemeler sağlar ancak CPU kullanımını artırır
• Daha büyük değerler CPU yükünü azaltır ancak lip sync tepkiselliğini azaltabilir
• Optimal hizalama için 160'ın katlarının kullanılması önerilir

Mood Etkin Model Yapılandırması

Create Realistic MetaHuman Lip Sync With Mood Generator düğümü, temel gerçekçi modelin ötesinde ek yapılandırma seçenekleri sağlar:

Temel Yapılandırma

İleri Bakış Ms: Geliştirilmiş dudak senkronizasyonu doğruluğu için ileri bakış zamanlaması (milisaniye cinsinden).

• Varsayılan: 80ms
• Aralık: 20ms ila 200ms (20'ye bölünebilir olmalı)
• Daha yüksek değerler daha iyi senkronizasyon sağlar ancak gecikmeyi artırır

Çıktı Türü: Hangi yüz kontrollerinin üretileceğini kontrol eder.

• Tam Yüz: Tüm 81 yüz kontrolü (kaşlar, gözler, burun, ağız, çene, dil)
• Sadece Ağız: Sadece ağız, çene ve dil ile ilgili kontroller

Performans Ayarları: Normal gerçekçi model ile aynı Intra Op Threads ve Inter Op Threads ayarlarını kullanır.

Ruh Hali Ayarları

Mevcut Ruh Halleri:

• Nötr, Mutlu, Üzgün, İğrenme, Öfke, Şaşkınlık, Korku
• Kendinden Emin, Heyecanlı, Sıkılmış, Oyunbaz, Kafası Karışmış

Ruh Hali Yoğunluğu: Ruh halinin animasyonu ne kadar güçlü etkilediğini kontrol eder (0.0 ila 1.0)

Çalışma Zamanı Ruh Hali Kontrolü

Çalışma zamanında ruh hali ayarlarını aşağıdaki fonksiyonları kullanarak ayarlayabilirsiniz:

• Ruh Halini Ayarla: Mevcut ruh hali türünü değiştir
• Ruh Hali Yoğunluğunu Ayarla: Ruh halinin animasyonu ne kadar güçlü etkilediğini ayarla (0.0 ila 1.0)
• İleri Bakış Ms'yi Ayarla: Senkronizasyon için ileri bakış zamanlamasını değiştir
• Çıktı Türünü Ayarla: Tam Yüz ve Sadece Ağız kontrolleri arasında geçiş yap

Ruh Hali Seçim Kılavuzu

İçeriğinize göre uygun ruh hallerini seçin:

Ruh Hali	En İyi Kullanım	Tipik Yoğunluk Aralığı
Nötr	Genel konuşma, anlatım, varsayılan durum	0.5 - 1.0
Mutlu	Olumlu içerik, neşeli diyalog, kutlamalar	0.6 - 1.0
Üzgün	Melankolik içerik, duygusal sahneler, hüzünlü anlar	0.5 - 0.9
İğrenme	Olumsuz tepkiler, tatsız içerik, reddetme	0.4 - 0.8
Öfke	Agresif diyalog, çatışma sahneleri, hayal kırıklığı	0.6 - 1.0
Şaşkınlık	Beklenmedik olaylar, açıklamalar, şok tepkileri	0.7 - 1.0
Korku	Tehdit edici durumlar, kaygı, gergin diyalog	0.5 - 0.9
Kendinden Emin	Profesyonel sunumlar, liderlik diyaloğu, iddialı konuşma	0.7 - 1.0
Heyecanlı	Enerjik içerik, duyurular, coşkulu diyalog	0.8 - 1.0
Sıkılmış	Monoton içerik, ilgisiz diyalog, yorgun konuşma	0.3 - 0.7
Oyunbaz	Gündelik konuşma, mizah, hafif etkileşimler	0.6 - 0.9
Kafası Karışmış	Soru ağırlıklı diyalog, belirsizlik, şaşkınlık	0.4 - 0.8

Animasyon Blueprint Yapılandırması

Lip Sync Yapılandırması

Standard Model

Blend Runtime MetaHuman Lip Sync düğümünün özellikler panelinde yapılandırma seçenekleri bulunur:

Özellik	Varsayılan	Açıklama
Interpolation Speed	25	Dudak hareketlerinin visemler arasında geçiş yapma hızını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlere neden olur.
Reset Time	0.2	Lip Sync'in sıfırlanacağı saniye cinsinden süre. Ses durduktan sonra Lip Sync'in devam etmesini önlemek için kullanışlıdır.

Realistic Models

Blend Realistic MetaHuman Lip Sync düğümünün özellikler panelinde yapılandırma seçenekleri bulunur:

Özellik	Varsayılan	Açıklama
Interpolation Speed	30	Dudak hareketlerinin pozisyonlar arasında geçiş yapma hızını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlere neden olur.
Reset Time	0.2	Lip Sync'in sıfırlanacağı saniye cinsinden süre. Ses durduktan sonra Lip Sync'in devam etmesini önlemek için kullanışlıdır.

Not: Aynı Animation Blueprint düğümü hem normal hem de mood-özellikli realistic modeller için kullanılır.

Kahkaha Animasyonu

Ses içinde tespit edilen kahkahalara dinamik olarak yanıt verecek kahkaha animasyonları da ekleyebilirsiniz:

1. Blend Runtime MetaHuman Laughter düğümünü ekleyin
2. RuntimeVisemeGenerator değişkeninizi Viseme Generator pin'ine bağlayın
3. Zaten lip sync kullanıyorsanız:
   • Blend Runtime MetaHuman Lip Sync düğümünün çıktısını Blend Runtime MetaHuman Laughter düğümünün Source Pose pin'ine bağlayın
   • Blend Runtime MetaHuman Laughter düğümünün çıktısını Output Pose'un Result pin'ine bağlayın
4. Sadece kahkaha kullanıyorsanız (lip sync olmadan):
   • Kaynak pozunuzu doğrudan Blend Runtime MetaHuman Laughter düğümünün Source Pose pin'ine bağlayın
   • Çıktıyı Result pin'ine bağlayın

Ses içinde kahkaha tespit edildiğinde, karakteriniz buna uygun şekilde dinamik olarak animasyon yapacaktır:

Kahkaha Yapılandırması

Blend Runtime MetaHuman Laughter düğümünün kendi yapılandırma seçenekleri bulunur:

Özellik	Varsayılan	Açıklama
Interpolation Speed	25	Dudak hareketlerinin kahkaha animasyonları arasında geçiş yapma hızını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlere neden olur.
Reset Time	0.2	Kahkahanın sıfırlanacağı saniye cinsinden süre. Ses durduktan sonra kahkahanın devam etmesini önlemek için kullanışlıdır.
Max Laughter Weight	0.7	Kahkaha animasyonunun maksimum yoğunluğunu ölçeklendirir (0.0 - 1.0).
Not: Kahkaha tespiti şu anda yalnızca Standart Model ile kullanılabilir.

Mevcut Animasyonlarla Birleştirme

Lip senkronizasyonu ve kahkahayı, mevcut vücut animasyonlarını ve özel yüz animasyonlarını geçersiz kılmadan uygulamak için:

1. Vücut animasyonlarınız ile son çıktı arasına bir Layered blend per bone düğümü ekleyin. Use Attached Parent özelliğinin true olduğundan emin olun.
2. Katman kurulumunu yapılandırın:
   • Layer Setup dizisine 1 öğe ekleyin
   • Katman için Branch Filters'a 3 öğe ekleyin, aşağıdaki Bone Name değerleriyle:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Özel yüz animasyonları için önemli: Curve Blend Option'da "Use Max Value" seçin. Bu, özel yüz animasyonlarının (ifadeler, duygular vb.) lip senkronizasyonunun üzerine düzgün şekilde katmanlanmasına olanak tanır.
4. Bağlantıları yapın:
   • Mevcut animasyonlar (örneğin BodyPose) → Base Pose girişi
   • Yüz animasyonu çıktısı (lip senkronizasyonu ve/veya kahkaha düğümlerinden) → Blend Poses 0 girişi
   • Katmanlı karıştırma düğümü → Son Result pozu

Lip Senkronizasyonu Davranışını İnce Ayarlama

Dil Çıkıntısı Kontrolü

Standart lip senkronizasyonu modelinde, belirli fonemler sırasında aşırı ileri dil hareketi fark edebilirsiniz. Dil çıkıntısını kontrol etmek için:

1. Lip senkronizasyonu blend düğümünüzden sonra bir Modify Curve düğümü ekleyin
2. Modify Curve düğümüne sağ tıklayın ve Add Curve Pin seçin
3. CTRL_expressions_tongueOut adında bir curve pin ekleyin
4. Düğümün Apply Mode özelliğini Scale olarak ayarlayın
5. Dil uzantısını kontrol etmek için Value parametresini ayarlayın (örneğin, çıkıntıyı %20 azaltmak için 0.8)

Çene Açma Kontrolü

Gerçekçi lip senkronizasyonu, ses içeriğinize ve görsel gereksinimlerinize bağlı olarak aşırı duyarlı çene hareketleri üretebilir. Çene açma yoğunluğunu ayarlamak için:

1. Lip senkronizasyonu blend düğümünüzden sonra bir Modify Curve düğümü ekleyin
2. Modify Curve düğümüne sağ tıklayın ve Add Curve Pin seçin
3. CTRL_expressions_jawOpen adında bir curve pin ekleyin
4. Düğümün Apply Mode özelliğini Scale olarak ayarlayın
5. Çene açma aralığını kontrol etmek için Value parametresini ayarlayın (örneğin, çene hareketini %10 azaltmak için 0.9)

Ruh Haline Özel İnce Ayarlama

Ruh hali etkin modeller için belirli duygusal ifadeleri ince ayarlayabilirsiniz:

Kaş Kontrolü:

• CTRL_L_brow_raiseIn.ty / CTRL_R_brow_raiseIn.ty - İç kaş kaldırma
• CTRL_L_brow_raiseOut.ty / CTRL_R_brow_raiseOut.ty - Dış kaş kaldırma
• CTRL_L_brow_down.ty / CTRL_R_brow_down.ty - Kaş indirme

Göz İfadesi Kontrolü:

• CTRL_L_eye_squintInner.ty / CTRL_R_eye_squintInner.ty - Göz kısma
• CTRL_L_eye_cheekRaise.ty / CTRL_R_eye_cheekRaise.ty - Yanak kaldırma

Model Karşılaştırması ve Seçimi

Modeller Arasında Seçim Yapma

Projeniz için hangi dudak senkronizasyonu modelini kullanacağınıza karar verirken bu faktörleri göz önünde bulundurun:

Değerlendirme	Standart Model	Gerçekçi Model	Duygu Etkin Gerçekçi Model
Karakter Uyumluluğu	MetaHuman'lar ve tüm özel karakter türleri	Sadece MetaHuman'lar	Sadece MetaHuman'lar
Görsel Kalite	Verimli performansla iyi dudak senkronizasyonu	Daha doğal ağız hareketleriyle geliştirilmiş gerçekçilik	Duygusal ifadelerle geliştirilmiş gerçekçilik
Performans	Mobil/VR dahil tüm platformlar için optimize edilmiş	Daha yüksek kaynak gereksinimleri	Daha yüksek kaynak gereksinimleri
Özellikler	14 visem, kahkaha tespiti	81 yüz kontrolü, 3 optimizasyon seviyesi	81 yüz kontrolü, 12 duygu durumu, yapılandırılabilir çıktı
Platform Desteği	Windows, Android, Quest	Windows, Mac, iOS, Linux	Windows, Mac, iOS, Linux
Kullanım Senaryoları	Genel uygulamalar, oyunlar, VR/AR, mobil	Sinematik deneyimler, yakın plan etkileşimler	Duygusal hikaye anlatımı, gelişmiş karakter etkileşimi

Motor Sürümü Uyumluluğu

UE 5.2 Uyumluluk Sorunu

Unreal Engine 5.2 kullanıyorsanız, UE'nin yeniden örnekleme kütüphanesindeki bir hata nedeniyle Gerçekçi Modeller doğru çalışmayabilir. Güvenilir dudak senkronizasyonu işlevselliğine ihtiyaç duyan UE 5.2 kullanıcıları için lütfen bunun yerine Standart Model'i kullanın.

Bu sorun özellikle UE 5.2'ye özgüdür ve diğer motor sürümlerini etkilemez.

Performans Önerileri

• Çoğu proje için, Standart Model kalite ve performans arasında mükemmel bir denge sağlar
• MetaHuman karakterler için en yüksek görsel kaliteye ihtiyaç duyduğunuzda Gerçekçi Model'i kullanın
• Uygulamanız için duygusal ifade kontrolü önemli olduğunda Duygu Etkin Gerçekçi Model'i kullanın
• Modeller arasında seçim yaparken hedef platformunuzun performans kapasitelerini göz önünde bulundurun
• Belirli kullanım durumunuz için en iyi dengeyi bulmak için farklı optimizasyon seviyelerini test edin

TTS Uyumluluğu

Model Türü	Yerel TTS Desteği (Runtime Text To Speech üzerinden)	Harici TTS Desteği	Notlar
Standart Model	✅ Tam destek	✅ Tam destek	Tüm TTS seçenekleriyle uyumlu
Gerçekçi Model	❌ Sınırlı destek	✅ Tam destek	ONNX runtime, yerel TTS ile çakışıyor
Duygu Etkin Gerçekçi Model	✅ Tam destek	✅ Tam destek	Tüm TTS seçenekleriyle uyumlu

Sorun Giderme

Yaygın Sorunlar

Gerçekçi Modeller için Jeneratörün Yeniden Oluşturulması: Gerçekçi Modellerle güvenilir ve tutarlı çalışma için, bir hareketsizlik döneminden sonra yeni ses verisi beslemek istediğinizde jeneratörü her seferinde yeniden oluşturmanız önerilir. Bunun nedeni, sessizlik dönemlerinden sonra jeneratörlerin yeniden kullanılması durumunda dudak senkronizasyonunun çalışmayı durdurmasına neden olabilen ONNX runtime davranışıdır. Yerel TTS Uyumluluğu: Runtime Text To Speech eklentisi tarafından sağlanan Yerel TTS, ONNX çalışma zamanı çakışmaları nedeniyle şu anda düzenli Realistic modeli ile desteklenmemektedir. Ancak, hem Standard model hem de Mood-Enabled Realistic model ile tamamen uyumludur. TTS işlevselliği ile özellikle düzenli Realistic modeli kullanmanız gerekiyorsa harici TTS servislerini kullanın.

Performans Optimizasyonu:

• Performans gereksinimlerinize bağlı olarak Realistic modeller için İşleme Parça Boyutu'nu ayarlayın
• Hedef donanımınız için uygun iş parçacığı sayılarını kullanın
• Tam yüz animasyonuna ihtiyaç duyulmadığında, mood-özellikli modeller için Sadece Ağız çıktı türünü kullanmayı düşünün