Eklenti Yapılandırması

Model Yapılandırması

Standart Model Yapılandırması

Create Runtime Viseme Generator düğümü, çoğu senaryo için iyi çalışan varsayılan ayarları kullanır. Yapılandırma, Animation Blueprint karıştırma düğümü özellikleri aracılığıyla ele alınır.

Animation Blueprint yapılandırma seçenekleri için aşağıdaki Dudak Senkronizasyonu Yapılandırması bölümüne bakın.

Gerçekçi Model Yapılandırması

Create Realistic MetaHuman Lip Sync Generator düğümü, oluşturucunun davranışını özelleştirmenize olanak tanıyan isteğe bağlı bir Configuration parametresi kabul eder:

Model Türü

Model Türü ayarı, gerçekçi modelin hangi sürümünün kullanılacağını belirler:

Model Türü	Performans	Görsel Kalite	Gürültü İşleme	Önerilen Kullanım Senaryoları
Yüksek Optimize Edilmiş (Varsayılan)	En yüksek performans, en düşük CPU kullanımı	İyi kalite	Arka plan gürültüsü veya ses dışı seslerle fark edilebilir ağız hareketleri gösterebilir	Temiz ses ortamları, performans kritik senaryolar
Yarı Optimize Edilmiş	İyi performans, orta düzeyde CPU kullanımı	Yüksek kalite	Gürültülü sesle daha iyi kararlılık	Dengeli performans ve kalite, karışık ses koşulları
Orijinal	Modern CPU'larda gerçek zamanlı kullanım için uygun	En yüksek kalite	Arka plan gürültüsü ve ses dışı seslerle en kararlı	Yüksek kaliteli prodüksiyonlar, gürültülü ses ortamları, maksimum doğruluk gerektiğinde

Performans Ayarları

Intra Op Threads: Dahili model işleme işlemleri için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılama kullanır (tipik olarak mevcut CPU çekirdeklerinin 1/4'ü, maksimum 4)
• 1-16: Manuel olarak iş parçacığı sayısını belirtin. Daha yüksek değerler çok çekirdekli sistemlerde performansı iyileştirebilir ancak daha fazla CPU kullanır

Inter Op Threads: Farklı model işlemlerinin paralel yürütülmesi için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılama kullanır (tipik olarak mevcut CPU çekirdeklerinin 1/8'i, maksimum 2)
• 1-8: Manuel olarak iş parçacığı sayısını belirtin. Genellikle gerçek zamanlı işleme için düşük tutulur

İşleme Parça Boyutu

İşleme Parça Boyutu, her çıkarım adımında kaç örneğin işlendiğini belirler. Varsayılan değer 160 örnektir (16kHz'de 10ms ses):

• Daha küçük değerler daha sık güncellemeler sağlar ancak CPU kullanımını artırır
• Daha büyük değerler CPU yükünü azaltır ancak dudak senkronizasyonu duyarlılığını azaltabilir
• Optimal hizalama için 160'ın katlarının kullanılması önerilir

Ruh Durumu Etkin Model Yapılandırması

Create Realistic MetaHuman Lip Sync With Mood Generator düğümü, temel gerçekçi modelin ötesinde ek yapılandırma seçenekleri sağlar:

Temel Yapılandırma

Lookahead Ms: Gelişmiş dudak senkronizasyonu doğruluğu için öngörü zamanlaması (milisaniye cinsinden).

• Varsayılan: 80ms
• Aralık: 20ms ila 200ms (20'ye bölünebilir olmalı)
• Daha yüksek değerler daha iyi senkronizasyon sağlar ancak gecikmeyi artırır

Output Type: Hangi yüz kontrollerinin üretileceğini kontrol eder.

• Full Face: Tüm 81 yüz kontrolü (kaşlar, gözler, burun, ağız, çene, dil)
• Mouth Only: Sadece ağız, çene ve dil ile ilgili kontroller

Performance Settings: Normal gerçekçi modelle aynı Intra Op Threads ve Inter Op Threads ayarlarını kullanır.

Mood Settings

Mevcut Duygu Durumları:

• Neutral, Happy, Sad, Disgust, Anger, Surprise, Fear
• Confident, Excited, Bored, Playful, Confused

Mood Intensity: Duygu durumunun animasyonu ne kadar güçlü etkileyeceğini kontrol eder (0.0 ila 1.0)

Runtime Mood Control

Çalışma zamanında duygu ayarlarını aşağıdaki fonksiyonları kullanarak ayarlayabilirsiniz:

• Set Mood: Mevcut duygu türünü değiştir
• Set Mood Intensity: Duygunun animasyonu ne kadar güçlü etkileyeceğini ayarla (0.0 ila 1.0)
• Set Lookahead Ms: Senkronizasyon için öngörü zamanlamasını değiştir
• Set Output Type: Full Face ve Mouth Only kontrolleri arasında geçiş yap

Mood Selection Guide

İçeriğinize göre uygun duygu durumlarını seçin:

Duygu Durumu	En İyi Kullanım	Tipik Yoğunluk Aralığı
Neutral	Genel konuşma, anlatım, varsayılan durum	0.5 - 1.0
Happy	Pozitif içerik, neşeli diyalog, kutlamalar	0.6 - 1.0
Sad	Melankolik içerik, duygusal sahneler, kasvetli anlar	0.5 - 0.9
Disgust	Olumsuz tepkiler, tatsız içerik, reddetme	0.4 - 0.8
Anger	Agresif diyalog, çatışma sahneleri, hayal kırıklığı	0.6 - 1.0
Surprise	Beklenmedik olaylar, açıklamalar, şok tepkileri	0.7 - 1.0
Fear	Tehdit edici durumlar, kaygı, gergin diyalog	0.5 - 0.9
Confident	Profesyonel sunumlar, liderlik diyaloğu, iddialı konuşma	0.7 - 1.0
Excited	Enerjik içerik, duyurular, coşkulu diyalog	0.8 - 1.0
Bored	Monoton içerik, ilgisiz diyalog, yorgun konuşma	0.3 - 0.7
Playful	Gündelik konuşma, mizah, hafif etkileşimler	0.6 - 0.9
Confused	Soru ağırlıklı diyalog, belirsizlik, şaşkınlık	0.4 - 0.8

Animation Blueprint Configuration

Lip Sync Configuration

Standard Model

Blend Runtime MetaHuman Lip Sync düğümünün özellikler panelinde yapılandırma seçenekleri bulunur:

Özellik	Varsayılan	Açıklama
İnterpolasyon Hızı	25	Dudak hareketlerinin visemler arasında geçiş yapma hızını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlere neden olur.
Sıfırlama Süresi	0.2	Dudak senkronizasyonunun sıfırlandığı saniye cinsinden süre. Bu, ses durduktan sonra dudak senkronizasyonunun devam etmesini önlemek için kullanışlıdır.

Kahkaha Animasyonu

Seste algılanan kahkahalara dinamik olarak tepki verecek kahkaha animasyonları da ekleyebilirsiniz:

1. Blend Runtime MetaHuman Laughter düğümünü ekleyin
2. RuntimeVisemeGenerator değişkeninizi Viseme Generator pin'ine bağlayın
3. Zaten dudak senkronizasyonu kullanıyorsanız:
   • Blend Runtime MetaHuman Lip Sync düğümünün çıkışını Blend Runtime MetaHuman Laughter düğümünün Source Pose pin'ine bağlayın
   • Blend Runtime MetaHuman Laughter düğümünün çıkışını Output Pose'nin Result pin'ine bağlayın
4. Sadece kahkaha kullanıyorsanız (dudak senkronizasyonu olmadan):
   • Kaynak pozunuzu doğrudan Blend Runtime MetaHuman Laughter düğümünün Source Pose pin'ine bağlayın
   • Çıkışı Result pin'ine bağlayın

Seste kahkaha algılandığında, karakteriniz buna göre dinamik olarak animasyon yapacaktır:

Kahkaha Yapılandırması

Blend Runtime MetaHuman Laughter düğümünün kendi yapılandırma seçenekleri vardır:

Özellik	Varsayılan	Açıklama
İnterpolasyon Hızı	25	Dudak hareketlerinin kahkaha animasyonları arasında geçiş yapma hızını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlere neden olur.
Sıfırlama Süresi	0.2	Kahkahanın sıfırlandığı saniye cinsinden süre. Bu, ses durduktan sonra kahkahanın devam etmesini önlemek için kullanışlıdır.
Maksimum Kahkaha Ağırlığı	0.7	Kahkaha animasyonunun maksimum yoğunluğunu ölçeklendirir (0.0 - 1.0).

Not: Kahkaha algılama şu anda yalnızca Standart Model ile kullanılabilir.

Realistic Models

Blend Realistic MetaHuman Lip Sync düğümünün özellikler panelinde yapılandırma seçenekleri bulunur:

Özellik	Varsayılan	Açıklama
İnterpolasyon Hızı	30	Aktif konuşma sırasında yüz ifadelerinin geçiş yapma hızını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlere neden olur.
Boşta İnterpolasyon Hızı	15	Yüz ifadelerinin boşta/nötr duruma dönüş geçiş hızını kontrol eder. Daha düşük değerler dinlenme pozuna daha pürüzsüz ve kademeli dönüşler oluşturur.
Sıfırlama Süresi	0.2	Dudak senkronizasyonunun boşta duruma sıfırlandığı saniye cinsinden süre
. İfade durduktan sonra ifadelerin devam etmesini önlemek için kullanışlıdır.
Boşta Durumu Koru	false	Etkinleştirildiğinde, nötr duruma sıfırlamak yerine boşta kalma dönemlerinde son duygusal durumu korur.
Göz İfadelerini Koru	true	Boşta durum sırasında gözle ilgili yüz kontrollerinin korunup korunmayacağını kontrol eder. Yalnızca Boşta Durumu Koru etkinleştirildiğinde etkilidir.
Kaş İfadelerini Koru	true	Boşta durum sırasında kaşla ilgili yüz kontrollerinin korunup korunmayacağını kontrol eder. Yalnızca Boşta Durumu Koru etkinleştirildiğinde etkilidir.
Ağız Şeklini Koru	false	Boşta durum sırasında ağız şekli kontrollerinin (dil ve çene gibi konuşmaya özgü hareketler hariç) korunup korunmayacağını kontrol eder. Yalnızca Boşta Durumu Koru etkinleştirildiğinde etkilidir.

Boşta Durumu Koruma

Boşta Durumu Koru özelliği, Realistic modelinin sessizlik dönemlerini nasıl ele aldığını ele alır. Ayrık visemler kullanan ve sessizlik sırasında tutarlı bir şekilde sıfır değerlere dönen Standart modelin aksine, Realistic modelinin sinir ağı, MetaHuman'ın varsayılan dinlenme pozisyonundan farklı olan ince yüz konumlandırmasını koruyabilir.

Ne Zaman Etkinleştirilir:

• Konuşma bölümleri arasında duygusal ifadeleri korumak için
• Karakter kişilik özelliklerini korumak için
• Sinematik dizilerde görsel sürekliliği sağlamak için

Bölgesel Kontrol Seçenekleri:

• Göz İfadeleri: Göz kısma, büyütme ve göz kapağı konumlandırmasını korur
• Kaş İfadeleri: Kaş ve alın konumlandırmasını korur
• Ağız Şekli: Konuşma hareketlerinin (dil, çene) sıfırlanmasına izin verirken genel ağız eğriliğini korur

Mevcut Animasyonlarla Birleştirme

Dudak senkronizasyonu ve kahkaha efektlerini, mevcut vücut animasyonlarını ve özel yüz animasyonlarını geçersiz kılmadan uygulamak için:

1. Vücut animasyonlarınız ile son çıktı arasına bir Layered blend per bone düğümü ekleyin. Use Attached Parent öğesinin true olduğundan emin olun.
2. Katman kurulumunu yapılandırın:
   • Layer Setup dizisine 1 öğe ekleyin
   • Katman için Branch Filters öğesine 3 öğe ekleyin, aşağıdaki Bone Name değerleriyle:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Özel yüz animasyonları için önemli: Curve Blend Option öğesinde "Use Max Value" seçeneğini seçin. Bu, özel yüz animasyonlarının (ifadeler, duygular vb.) dudak senkronizasyonunun üzerine düzgün şekilde katmanlanmasına olanak tanır.
4. Bağlantıları yapın:
   • Mevcut animasyonlar (BodyPose gibi) → Base Pose girişi
   • Yüz animasyon çıktısı (dudak senkronizasyonu ve/veya kahkaha düğümlerinden) → Blend Poses 0 girişi
   • Katmanlı karıştırma düğümü → Son Result pozu

Dudak Senkronizasyonu Davranışını İnce Ayarlama

Dil Çıkıntısı Kontrolü

Standart dudak senkronizasyonu modelinde, belirli fonemler sırasında aşırı dil ileri hareketi fark edebilirsiniz. Dil çıkıntısını kontrol etmek için:

1. Dudak senkronizasyonu blend nodunuzdan sonra bir Modify Curve nodu ekleyin
2. Modify Curve noduna sağ tıklayın ve Add Curve Pin seçeneğini seçin
3. CTRL_expressions_tongueOut adında bir curve pin ekleyin
4. Nodun Apply Mode özelliğini Scale olarak ayarlayın
5. Dil uzantısını kontrol etmek için Value parametresini ayarlayın (örneğin, çıkıntıyı %20 azaltmak için 0.8)

Çene Açma Kontrolü

Gerçekçi dudak senkronizasyonu, ses içeriğinize ve görsel gereksinimlerinize bağlı olarak aşırı duyarlı çene hareketleri üretebilir. Çene açma yoğunluğunu ayarlamak için:

1. Dudak senkronizasyonu blend nodunuzdan sonra bir Modify Curve nodu ekleyin
2. Modify Curve noduna sağ tıklayın ve Add Curve Pin seçeneğini seçin
3. CTRL_expressions_jawOpen adında bir curve pin ekleyin
4. Nodun Apply Mode özelliğini Scale olarak ayarlayın
5. Çene açma aralığını kontrol etmek için Value parametresini ayarlayın (örneğin, çene hareketini %10 azaltmak için 0.9)

Ruh Haline Özel İnce Ayarlar

Ruh hali etkin modeller için belirli duygusal ifadeleri ince ayar yapabilirsiniz:

Kaş Kontrolü:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - İç kaş kaldırma
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - Dış kaş kaldırma
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - Kaş indirme

Göz İfadesi Kontrolü:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - Göz kısma
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - Yanak kaldırma

Model Karşılaştırması ve Seçimi

Modeller Arasında Seçim Yapma

Projeniz için hangi dudak senkronizasyonu modelini kullanacağınıza karar verirken bu faktörleri göz önünde bulundurun:

Değerlendirme	Standart Model	Gerçekçi Model	Ruh Hali Etkin Gerçekçi Model
Karakter Uyumluluğu	MetaHumans ve tüm özel karakter türleri	Sadece MetaHumans	Sadece MetaHumans
Görsel Kalite	Verimli performansla iyi dudak senkronizasyonu	Daha doğal ağız hareketleriyle geliştirilmiş gerçekçilik	Duygusal ifadelerle geliştirilmiş gerçekçilik
Performans	Mobil/VR dahil tüm platformlar için optimize edilmiş	Daha yüksek kaynak gereksinimleri	Daha yüksek kaynak gereksinimleri
Özellikler	14 visem, kahkaha tespiti	81 yüz kontrolü, 3 optimizasyon seviyesi	81 yüz kontrolü, 12 ruh hali, yapılandırılabilir çıktı
Platform Desteği	Windows, Android, Quest	Windows, Mac, iOS, Linux	Windows, Mac, iOS, Linux
Kullanım Senaryoları	Genel uygulamalar, oyunlar, VR/AR, mobil	Sinematik deneyimler, yakın plan etkileşimler	Duygusal hikaye anlatımı, gelişmiş karakter etkileşimi

Motor Sürüm Uyumluluğu

UE 5.2 Uyumluluk Sorunu

Unreal Engine 5.2 kullanıyorsanız, UE'nin yeniden örnekleme kütüphanesindeki bir hata nedeniyle Gerçekçi Modeller doğru çalışmayabilir. Güvenilir dudak senkronizasyonu işlevselliğine ihtiyaç duyan UE 5.2 kullanıcıları için lütfen bunun yerine Standart Model'i kullanın.

Bu sorun yalnızca UE 5.2'ye özgüdür ve diğer motor sürümlerini etkilemez.

Performans Önerileri

• Çoğu proje için, Standart Model kalite ve performans arasında mükemmel bir denge sağlar
• MetaHuman karakterler için en yüksek görsel kaliteye ihtiyaç duyduğunuzda Gerçekçi Model'i kullanın
• Uygulamanız için duygusal ifade kontrolü önemli olduğunda Duygu Etkin Gerçekçi Model'i kullanın
• Modeller arasında seçim yaparken hedef platformunuzun performans kapasitelerini göz önünde bulundurun
• Belirli kullanım durumunuz için en iyi dengeyi bulmak için farklı optimizasyon seviyelerini test edin

TTS Uyumluluğu

Model Türü	Yerel TTS Desteği (Runtime Text To Speech aracılığıyla)	Harici TTS Desteği	Notlar
Standart Model	✅ Tam destek	✅ Tam destek	Tüm TTS seçenekleriyle uyumlu
Gerçekçi Model	❌ Sınırlı destek	✅ Tam destek	ONNX çalışma zamanı yerel TTS ile çakışıyor
Duygu Etkin Gerçekçi Model	✅ Tam destek	✅ Tam destek	Tüm TTS seçenekleriyle uyumlu

Sorun Giderme

Yaygın Sorunlar

Gerçekçi Modeller için Üreteç Yeniden Oluşturma: Gerçekçi Modellerle güvenilir ve tutarlı çalışma için, bir süre hareketsiz kaldıktan sonra yeni ses verisi beslemek istediğinizde üreteci her seferinde yeniden oluşturmanız önerilir. Bunun nedeni, sessizlik dönemlerinden sonra üreteçleri yeniden kullanırken dudak senkronizasyonunun çalışmayı durdurmasına neden olabilen ONNX çalışma zamanı davranışıdır.

Yerel TTS Uyumluluğu: Runtime Text To Speech eklentisi tarafından sağlanan Yerel TTS, ONNX çalışma zamanı çakışmaları nedeniyle şu anda normal Gerçekçi model ile desteklenmemektedir. Ancak, hem Standart model hem de Duygu Etkin Gerçekçi model ile tamamen uyumludur. Özellikle normal Gerçekçi model ile TTS işlevselliğine ihtiyacınız varsa harici TTS hizmetlerini kullanın.

Bozulmuş Dudak Senkronizasyonu Tepkiselliği: Streaming Sound Wave veya Capturable Sound Wave kullanırken dudak senkronizasyonunun zamanla daha az tepkili hale geldiğini deneyimliyorsanız, bu bellek birikiminden kaynaklanıyor olabilir. Varsayılan olarak, her yeni ses eklendiğinde bellek yeniden tahsis edilir. Bu sorunu önlemek için, biriken belleği serbest bırakmak üzere ReleaseMemory işlevini periyodik olarak (örneğin her 30 saniyede bir) çağırın.

Performans Optimizasyonu:

• Performans gereksinimlerinize bağlı olarak Gerçekçi modeller için İşleme Parça Boyutunu ayarlayın
• Hedef donanımınız için uygun iş parçacığı sayılarını kullanın
• Tam yüz animasyonuna ihtiyaç duyulmadığında, duygu etkin modeller için Yalnızca Ağız çıktı türünü kullanmayı düşünün