Eklenti Yapılandırması

Model Yapılandırması

Standart Model Yapılandırması

Create Runtime Viseme Generator düğümü, çoğu senaryo için iyi çalışan varsayılan ayarları kullanır. Yapılandırma, Animasyon Blueprint karıştırma düğümü özellikleri aracılığıyla ele alınır.

Animasyon Blueprint yapılandırma seçenekleri için aşağıdaki Dudak Senkronizasyonu Yapılandırması bölümüne bakın.

Gerçekçi Model Yapılandırması

Create Realistic MetaHuman Lip Sync Generator düğümü, oluşturucunun davranışını özelleştirmenize izin veren isteğe bağlı bir Configuration parametresi kabul eder:

Model Türü

Model Türü ayarı, gerçekçi modelin hangi sürümünün kullanılacağını belirler:

Model Türü	Performans	Görsel Kalite	Gürültü İşleme	Önerilen Kullanım Senaryoları
Yüksek Optimize Edilmiş (Varsayılan)	En yüksek performans, en düşük CPU kullanımı	İyi kalite	Arka plan gürültüsü veya ses olmayan seslerle fark edilebilir ağız hareketleri gösterebilir	Temiz ses ortamları, performans kritik senaryolar
Yarı Optimize Edilmiş	İyi performans, orta düzeyde CPU kullanımı	Yüksek kalite	Gürültülü sesle daha iyi kararlılık	Dengeli performans ve kalite, karışık ses koşulları
Orijinal	Modern CPU'larda gerçek zamanlı kullanım için uygun	En yüksek kalite	Arka plan gürültüsü ve ses olmayan seslerle en kararlı	Yüksek kaliteli prodüksiyonlar, gürültülü ses ortamları, maksimum doğruluk gerektiğinde

Performans Ayarları

Intra Op Threads: Modelin iç işleme operasyonları için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılama kullanır (tipik olarak mevcut CPU çekirdeklerinin 1/4'ü, maksimum 4)
• 1-16: Manuel olarak iş parçacığı sayısını belirtin. Daha yüksek değerler çok çekirdekli sistemlerde performansı artırabilir ancak daha fazla CPU kullanır

Inter Op Threads: Farklı model operasyonlarının paralel yürütülmesi için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılama kullanır (tipik olarak mevcut CPU çekirdeklerinin 1/8'i, maksimum 2)
• 1-8: Manuel olarak iş parçacığı sayısını belirtin. Genellikle gerçek zamanlı işleme için düşük tutulur

İşleme Parça Boyutu

İşleme Parça Boyutu, her bir çıkarım adımında kaç örneğin işlendiğini belirler. Varsayılan değer 160 örnek'tir (16kHz'de 10ms ses):

• Daha küçük değerler daha sık güncellemeler sağlar ancak CPU kullanımını artırır
• Daha büyük değerler CPU yükünü azaltır ancak dudak senkronizasyonu duyarlılığını azaltabilir
• Optimal hizalama için 160'ın katlarının kullanılması önerilir

Ruh Hali Etkin Model Yapılandırması

Create Realistic MetaHuman Lip Sync With Mood Generator düğümü, temel gerçekçi modelin ötesinde ek yapılandırma seçenekleri sağlar:

Temel Yapılandırma

Lookahead Ms: Gelişmiş dudak senkronizasyonu doğruluğu için milisaniye cinsinden öngörü zamanlaması.

• Varsayılan: 80ms
• Aralık: 20ms ila 200ms (20'ye bölünebilir olmalı)
• Daha yüksek değerler daha iyi senkronizasyon sağlar ancak gecikmeyi artırır

Çıktı Türü: Hangi yüz kontrollerinin oluşturulduğunu kontrol eder.

• Tam Yüz: Tüm 81 yüz kontrolü (kaşlar, gözler, burun, ağız, çene, dil)
• Sadece Ağız: Sadece ağız, çene ve dil ile ilgili kontroller

Performans Ayarları: Düzenli gerçekçi modelle aynı Intra Op Threads ve Inter Op Threads ayarlarını kullanır.

Ruh Hali Ayarları

Mevcut Ruh Halleri:

• Nötr, Mutlu, Üzgün, İğrenme, Öfke, Şaşkınlık, Korku
• Kendinden Emin, Heyecanlı, Sıkılmış, Oyunbaz, Kafası Karışmış

Ruh Hali Yoğunluğu: Ruh halinin animasyonu ne kadar güçlü etkilediğini kontrol eder (0.0 ila 1.0)

Çalışma Zamanı Ruh Hali Kontrolü

Çalışma zamanında ruh hali ayarlarını aşağıdaki işlevleri kullanarak ayarlayabilirsiniz:

• Set Mood: Mevcut ruh hali türünü değiştirin
• Set Mood Intensity: Ruh halinin animasyonu ne kadar güçlü etkilediğini ayarlayın (0.0 ila 1.0)
• Set Lookahead Ms: Senkronizasyon için öngörü zamanlamasını değiştirin
• Set Output Type: Tam Yüz ve Sadece Ağız kontrolleri arasında geçiş yapın

Ruh Hali Seçim Kılavuzu

İçeriğinize göre uygun ruh hallerini seçin:

Ruh Hali	En İyi Kullanım	Tipik Yoğunluk Aralığı
Nötr	Genel konuşma, anlatım, varsayılan durum	0.5 - 1.0
Mutlu	Olumlu içerik, neşeli diyalog, kutlamalar	0.6 - 1.0
Üzgün	Melankolik içerik, duygusal sahneler, kasvetli anlar	0.5 - 0.9
İğrenme	Olumsuz tepkiler, tatsız içerik, reddetme	0.4 - 0.8
Öfke	Agresif diyalog, çatışma sahneleri, hayal kırıklığı	0.6 - 1.0
Şaşkınlık	Beklenmedik olaylar, açıklamalar, şok tepkileri	0.7 - 1.0
Korku	Tehdit edici durumlar, kaygı, gergin diyalog	0.5 - 0.9
Kendinden Emin	Profesyonel sunumlar, liderlik diyaloğu, iddialı konuşma	0.7 - 1.0
Heyecanlı	Enerjik içerik, duyurular, coşkulu diyalog	0.8 - 1.0
Sıkılmış	Monoton içerik, ilgisiz diyalog, yorgun konuşma	0.3 - 0.7
Oyunbaz	Gündelik konuşma, mizah, hafif kalpli etkileşimler	0.6 - 0.9
Kafası Karışmış	Soru ağırlıklı diyalog, belirsizlik, şaşkınlık	0.4 - 0.8

Animasyon Blueprint Yapılandırması

Dudak Senkronizasyonu Yapılandırması

Standard Model

Blend Runtime MetaHuman Lip Sync düğümünün özellikler panelinde yapılandırma seçenekleri vardır:

Özellik	Varsayılan	Açıklama
Interpolation Speed	25	Dudak hareketlerinin visemler arasında ne kadar hızlı geçiş yaptığını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlerle sonuçlanır.
Reset Time	0.2	Dudak senkronizasyonunun sıfırlandığı saniye cinsinden süre. Bu, ses durduktan sonra dudak senkronizasyonunun devam etmesini önlemek için kullanışlıdır.

Kahkaha Animasyonu

Ayrıca, seste algılanan kahkahalara dinamik olarak yanıt verecek kahkaha animasyonları ekleyebilirsiniz:

1. Blend Runtime MetaHuman Laughter düğümünü ekleyin
2. RuntimeVisemeGenerator değişkeninizi Viseme Generator pin'ine bağlayın
3. Zaten dudak senkronizasyonu kullanıyorsanız:
   • Blend Runtime MetaHuman Lip Sync düğümünden çıktıyı Blend Runtime MetaHuman Laughter düğümünün Source Pose'una bağlayın
   • Blend Runtime MetaHuman Laughter düğümünün çıktısını Output Pose'un Result pin'ine bağlayın
4. Sadece kahkaha kullanıyorsanız (dudak senkronizasyonu olmadan):
   • Kaynak pozunuzu doğrudan Blend Runtime MetaHuman Laughter düğümünün Source Pose'una bağlayın
   • Çıktıyı Result pin'ine bağlayın

Seste kahkaha algılandığında, karakteriniz buna göre dinamik olarak animasyonlanacaktır:

Kahkaha Yapılandırması

Blend Runtime MetaHuman Laughter düğümünün kendi yapılandırma seçenekleri vardır:

Özellik	Varsayılan	Açıklama
Enterpolasyon Hızı	25	Dudak hareketlerinin kahkaha animasyonları arasında ne kadar hızlı geçiş yaptığını kontrol eder. Daha yüksek değerler daha hızlı ve ani geçişlere neden olur.
Sıfırlama Süresi	0.2	Kahkahanın sıfırlanmadan önceki süresi (saniye cinsinden). Ses durduktan sonra kahkahanın devam etmesini önlemek için kullanışlıdır.
Maksimum Kahkaha Ağırlığı	0.7	Kahkaha animasyonunun maksimum yoğunluğunu ölçekler (0.0 - 1.0).

Not: Kahkaha tespiti şu anda yalnızca Standart Model ile kullanılabilir.

Gerçekçi Modeller

Blend Realistic MetaHuman Lip Sync düğümünün özellikler panelinde yapılandırma seçenekleri vardır:

Özellik	Varsayılan	Açıklama
Enterpolasyon Hızı	30	Aktif konuşma sırasında yüz ifadelerinin ne kadar hızlı geçiş yaptığını kontrol eder. Daha yüksek değerler daha hızlı, daha ani geçişlere neden olur.
Boşta Enterpolasyon Hızı	15	Yüz ifadelerinin boşta/nötr duruma ne kadar hızlı döndüğünü kontrol eder. Daha düşük değerler, dinlenme pozuna daha yumuşak, daha kademeli dönüşler oluşturur.
Sıfırlama Süresi	0.2	Dudak senkronizasyonunun boşta duruma sıfırlanmadan önceki süresi (saniye cinsinden). Ses durduktan sonra ifadelerin devam etmesini önlemek için kullanışlıdır.
Boşta Durumu Koru	false	Etkinleştirildiğinde, nötr duruma sıfırlamak yerine, boşta dönemlerde son duygusal durumu korur.
Göz İfadelerini Koru	true	Gözle ilgili yüz kontrollerinin boşta durumda korunup korunmayacağını kontrol eder. Yalnızca Boşta Durumu Koru etkinleştirildiğinde etkilidir.
Kaş İfadelerini Koru	true	Kaşla ilgili yüz kontrollerinin boşta durumda korunup korunmayacağını kontrol eder. Yalnızca Boşta Durumu Koru etkinleştirildiğinde etkilidir.
Ağız Şeklini Koru	false	Ağız şekli kontrollerinin (dil ve çene gibi konuşmaya özgü hareketler hariç) boşta durumda korunup korunmayacağını kontrol eder. Yalnızca Boşta Durumu Koru etkinleştirildiğinde etkilidir.

Boşta Durum Koruma

Boşta Durumu Koru özelliği, Gerçekçi modelin sessizlik dönemlerini nasıl ele aldığını ele alır. Sessizlik sırasında tutarlı bir şekilde sıfır değerlere dönen ayrık visemleri kullanan Standart modelin aksine, Gerçekçi modelin sinir ağı, MetaHuman'ın varsayılan dinlenme pozundan farklı olan ince yüz konumlandırmasını koruyabilir.

Ne Zaman Etkinleştirilmeli:

• Konuşma bölümleri arasında duygusal ifadeleri korumak
• Karakter kişilik özelliklerini korumak
• Sinematik sekanslarda görsel sürekliliği sağlamak

Bölgesel Kontrol Seçenekleri:

• Göz İfadeleri: Göz kısma, genişletme ve göz kapağı konumlandırmasını korur
• Kaş İfadeleri: Kaş ve alın konumlandırmasını korur
• Ağız Şekli: Konuşma hareketlerinin (dil, çene) sıfırlanmasına izin verirken genel ağız eğriliğini korur

Mevcut Animasyonlarla Birleştirme

Dudak senkronizasyonu ve kahkahayı mevcut vücut animasyonları ve özel yüz animasyonlarının üzerine geçmeden uygulamak için:

1. Vücut animasyonlarınız ve son çıktı arasına bir Layered blend per bone düğümü ekleyin. Use Attached Parent özelliğinin true olduğundan emin olun.
2. Katman kurulumunu yapılandırın:
   • Layer Setup dizisine 1 öğe ekleyin
   • Katman için Branch Filters'a aşağıdaki Bone Name değerleriyle 3 öğe ekleyin:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Özel yüz animasyonları için önemli: Curve Blend Option'da "Use Max Value" seçeneğini seçin. Bu, özel yüz animasyonlarının (ifadeler, duygular vb.) dudak senkronizasyonunun üzerine düzgün şekilde katmanlanmasına izin verir.
4. Bağlantıları yapın:
   • Mevcut animasyonlar (örneğin BodyPose) → Base Pose girişi
   • Yüz animasyon çıktısı (dudak senkronizasyonu ve/veya kahkaha düğümlerinden) → Blend Poses 0 girişi
   • Katmanlı karıştırma düğümü → Son Result pozu

Morf Hedef Seti Seçimi

Standart Model

Standart Model, özel poz varlığı kurulumu aracılığıyla herhangi bir morf hedef adlandırma kuralını doğal olarak destekleyen poz varlıklarını kullanır. Ek yapılandırmaya gerek yoktur.

Gerçekçi Modeller

Blend Realistic MetaHuman Lip Sync düğümü, yüz animasyonu için hangi morf hedef adlandırma kuralının kullanılacağını belirleyen bir Morph Target Set özelliği içerir:

Morf Hedef Seti	Açıklama	Kullanım Alanları
MetaHuman (Varsayılan)	Standart MetaHuman morf hedef adları (örneğin, CTRL_expressions_jawOpen)	MetaHuman karakterleri
ARKit	Apple ARKit uyumlu adlar (örneğin, JawOpen, MouthSmileLeft)	ARKit tabanlı karakterler

Dudak Senkronizasyonu Davranışını İnce Ayarlama

Dil Çıkıntısı Kontrolü

Standart dudak senkronizasyonu modelinde, belirli fonemler sırasında aşırı ileri dil hareketi fark edebilirsiniz. Dil çıkıntısını kontrol etmek için:

1. Dudak senkronizasyonu karıştırma düğümünüzden sonra bir Modify Curve düğümü ekleyin
2. Modify Curve düğümüne sağ tıklayın ve Add Curve Pin seçeneğini seçin
3. Adı CTRL_expressions_tongueOut olan bir eğri pimi ekleyin
4. Düğümün Apply Mode özelliğini Scale olarak ayarlayın
5. Dil uzantısını kontrol etmek için Value parametresini ayarlayın (örneğin, çıkıntıyı %20 azaltmak için 0.8)

Çene Açma Kontrolü

Gerçekçi dudak senkronizasyonu, ses içeriğinize ve görsel gereksinimlerinize bağlı olarak aşırı duyarlı çene hareketleri üretebilir. Çene açma yoğunluğunu ayarlamak için:

1. Dudak senkronizasyonu karıştırma düğümünüzden sonra bir Modify Curve düğümü ekleyin
2. Modify Curve düğümüne sağ tıklayın ve Add Curve Pin seçeneğini seçin
3. Adı CTRL_expressions_jawOpen olan bir eğri pimi ekleyin
4. Düğümün Apply Mode özelliğini Scale olarak ayarlayın
5. Çene açma aralığını kontrol etmek için Value parametresini ayarlayın (örneğin, çene hareketini %10 azaltmak için 0.9)

Ruh Haline Özgü İnce Ayarlama

Ruh hali etkin modeller için belirli duygusal ifadeleri ince ayarlayabilirsiniz:

Kaş Kontrolü:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - İç kaş kaldırma
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - Dış kaş kaldırma
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - Kaş indirme

Göz İfadesi Kontrolü:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - Göz kısma
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - Yanak kaldırma

Model Karşılaştırması ve Seçimi

Modeller Arasında Seçim Yapma

Projeniz için hangi dudak senkronizasyonu modelini kullanacağınıza karar verirken bu faktörleri göz önünde bulundurun:

Değerlendirme	Standart Model	Gerçekçi Model	Ruh Hali Etkin Gerçekçi Model
Karakter Uyumluluğu	MetaHuman'lar ve tüm özel karakter türleri	MetaHuman'lar (ve ARKit) karakterleri	MetaHuman'lar (ve ARKit) karakterleri
Görsel Kalite	İyi dudak senkronizasyonu ve verimli performans	Daha doğal ağız hareketleriyle gelişmiş gerçekçilik	Duygusal ifadelerle gelişmiş gerçekçilik
Performans	Mobil/VR dahil tüm platformlar için optimize edilmiş	Daha yüksek kaynak gereksinimleri	Daha yüksek kaynak gereksinimleri
Özellikler	14 visem, kahkaha tespiti	81 yüz kontrolü, 3 optimizasyon seviyesi	81 yüz kontrolü, 12 ruh hali, yapılandırılabilir çıktı
Platform Desteği	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
Kullanım Alanları	Genel uygulamalar, oyunlar, VR/AR, mobil	Sinematik deneyimler, yakın plan etkileşimler	Duygusal hikaye anlatımı, gelişmiş karakter etkileşimi

Motor Sürüm Uyumluluğu

UE 5.2 Uyumluluk Sorunu

Unreal Engine 5.2 kullanıyorsanız, UE'nin yeniden örnekleme kütüphanesindeki bir hata nedeniyle Gerçekçi Modeller doğru çalışmayabilir. Güvenilir dudak senkronizasyonu işlevselliğine ihtiyaç duyan UE 5.2 kullanıcıları için lütfen Standart Model kullanın.

Bu sorun yalnızca UE 5.2'ye özgüdür ve diğer motor sürümlerini etkilemez.

Performans Önerileri

• Çoğu proje için, Standart Model kalite ve performans arasında mükemmel bir denge sağlar
• MetaHuman karakterleri için en yüksek görsel sadakate ihtiyaç duyduğunuzda Gerçekçi Model kullanın
• Uygulamanız için duygusal ifade kontrolü önemli olduğunda Ruh Hali Etkin Gerçekçi Model kullanın
• Modeller arasında seçim yaparken hedef platformunuzun performans yeteneklerini göz önünde bulundurun
• Belirli kullanım durumunuz için en iyi dengeyi bulmak için farklı optimizasyon seviyelerini test edin

Sorun Giderme

Yaygın Sorunlar

Gerçekçi Modeller için Jeneratör Yeniden Oluşturma: Gerçekçi Modellerle güvenilir ve tutarlı çalışma için, bir süre hareketsizlikten sonra yeni ses verisi beslemek istediğinizde jeneratörü her seferinde yeniden oluşturmanız önerilir. Bu, sessizlik dönemlerinden sonra jeneratörleri yeniden kullanırken dudak senkronizasyonunun çalışmayı durdurmasına neden olabilen ONNX çalışma zamanı davranışından kaynaklanmaktadır.

Örneğin, her oynatma başlangıcında dudak senkronizasyonu jeneratörünü yeniden oluşturabilirsiniz, örneğin Play Sound 2D'yi her çağırdığınızda veya ses dalgası oynatmayı ve dudak senkronizasyonunu başlatmak için başka bir yöntem kullandığınızda:

Runtime Text To Speech Entegrasyonu için Eklenti Konumu: Runtime MetaHuman Lip Sync'i Runtime Text To Speech ile birlikte kullanırken (her iki eklenti de ONNX Runtime kullanır), eklentiler motorun Marketplace klasörüne yüklendiyse paketlenmiş yapılarda sorunlar yaşayabilirsiniz. Bunu düzeltmek için:

1. Her iki eklentiyi de UE kurulum klasörünüzdeki \Engine\Plugins\Marketplace altında bulun (örneğin, C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)
2. Hem RuntimeMetaHumanLipSync hem de RuntimeTextToSpeech klasörlerini projenizin Plugins klasörüne taşıyın
3. Projenizin Plugins klasörü yoksa, .uproject dosyanızla aynı dizinde bir tane oluşturun
4. Unreal Editor'ü yeniden başlatın

Bu, birden fazla ONNX Runtime tabanlı eklentinin motorun Marketplace dizininden yüklendiğinde oluşabilecek uyumluluk sorunlarını giderir.

Paketleme Yapılandırması (Windows): Windows'ta paketlenmiş projenizde dudak senkronizasyonu doğru çalışmıyorsa, Development yerine Shipping yapı yapılandırmasını kullandığınızdan emin olun. Development yapılandırması, paketlenmiş yapılarda gerçekçi modeller ONNX çalışma zamanı ile ilgili sorunlara neden olabilir.

Bunu düzeltmek için:

1. Proje Ayarları → Packaging'de, Build Configuration'ı Shipping olarak ayarlayın
2. Projenizi yeniden paketleyin

Yalnızca Blueprint Projeleri

Bazı yalnızca Blueprint projelerinde, Unreal Engine Shipping seçilmiş olsa bile Development yapılandırmasında yapı oluşturmaya devam edebilir. Bu olursa, projenizi en az bir C++ sınıfı ekleyerek (boş olabilir) C++ projesine dönüştürün. Bunu yapmak için, UE editör menüsünden Tools → New C++ Class'a gidin ve boş bir sınıf oluşturun. Bu, projenin Shipping yapılandırmasında doğru şekilde oluşturulmasını zorlayacaktır. Projeniz işlevsellik açısından yalnızca Blueprint olarak kalabilir, C++ sınıfı yalnızca uygun yapı yapılandırması için gereklidir.

Düşük Dudak Senkronizasyonu Tepkiselliği: Streaming Sound Wave veya Capturable Sound Wave kullanırken dudak senkronizasyonunun zamanla daha az duyarlı hale geldiğini deneyimliyorsanız, bu bellek birikiminden kaynaklanıyor olabilir. Varsayılan olarak, yeni ses eklendiğinde bellek her seferinde yeniden tahsis edilir. Bu sorunu önlemek için, biriken belleği serbest bırakmak için ReleaseMemory işlevini periyodik olarak çağırın, örneğin her 30 saniyede bir.

Performans Optimizasyonu:

• Performans gereksinimlerinize göre Gerçekçi modeller için İşleme Parça Boyutunu ayarlayın
• Hedef donanımınız için uygun iş parçacığı sayılarını kullanın
• Tam yüz animasyonuna ihtiyaç duyulmadığında, ruh hali etkin modeller için Yalnızca Ağız çıktı türünü kullanmayı düşünün