Eklenti Yapılandırması

Model Yapılandırması

Her bir oynatma için gerçekçi model oluşturucuları yeniden oluşturun

Güvenilir çalışma için Gerçekçi ve Ruh Hali Etkin Gerçekçi modellerinde, uzun sessizliklerde aynı üreteci tekrar kullanmak yerine her yeni ses oynatımından önce üreteci yeniden oluşturun. Ayrıntılar için Sorun Giderme bölümündeki Üreteç Yeniden Oluşturma başlığına bakın.

Standart Model Yapılandırması

Create Runtime Viseme Generator düğümü, çoğu senaryo için iyi çalışan varsayılan ayarları kullanır. Yapılandırma, Animation Blueprint harmanlama düğümü özellikleri aracılığıyla yapılır.

Animasyon Blueprint yapılandırma seçenekleri için aşağıdaki Dudak Senkronizasyonu Yapılandırması bölümüne bakın.

Gerçekçi Model Yapılandırması

Create Realistic MetaHuman Lip Sync Generator düğümü, oluşturucunun davranışını özelleştirmenize olanak tanıyan isteğe bağlı bir Configuration parametresini kabul eder:

Model Türü

Model Type ayarı, gerçekçi modelin hangi sürümünün kullanılacağını belirler:

Model Türü	Performans	Görsel Kalite	Gürültü Yönetimi	Önerilen Kullanım Alanları
Yüksek Düzeyde Optimize Edilmiş (Varsayılan)	En yüksek performans, en düşük CPU kullanımı	İyi kalite	Arka plan gürültüsü veya ses dışı seslerle birlikte belirgin ağız hareketleri gösterebilir.	Temiz ses ortamları, performans açısından kritik senaryolar
Yarı Optimize Edilmiş	İyi performans, orta düzeyde CPU kullanımı	Yüksek kalite	Gürültülü seslerde daha iyi kararlılık	Dengeli performans ve kalite, karışık ses koşulları
Orijinal	Modern CPU'larda gerçek zamanlı kullanıma uygundur	En yüksek kalite	Arka plan gürültüsü ve konuşma dışı seslerle en kararlı	Yüksek kaliteli prodüksiyonlar, gürültülü ses ortamları, maksimum doğruluk gerektiğinde

Performans Ayarları

Intra Op İş Parçacıkları: Dahili model işleme operasyonları için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılama kullanır (genellikle mevcut CPU çekirdeklerinin 1/4'ü, en fazla 4)
• 1-16: İş parçacığı sayısını manuel olarak belirtin. Daha yüksek değerler çok çekirdekli sistemlerde performansı artırabilir ancak daha fazla CPU kullanır.

Inter Op Threads: Farklı model işlemlerinin paralel yürütülmesi için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılama kullanır (genellikle mevcut CPU çekirdeklerinin 1/8'i, maksimum 2)
• 1-8: İş parçacığı sayısını manuel olarak belirtin. Gerçek zamanlı işleme için genellikle düşük tutulur.

İşleme Parça Boyutu

İşleme Parça Boyutu, her çıkarım adımında kaç örneğin işleneceğini belirler. Varsayılan değer 160 örnektir (16kHz'de 10ms ses).

• Daha küçük değerler daha sık güncelleme sağlar ancak CPU kullanımını artırır
• Daha büyük değerler CPU yükünü azaltır ancak dudak senkronizasyonu tepkiselliğini düşürebilir
• Optimum hizalama için 160'ın katlarının kullanılması önerilir

Ruh Hali Etkin Model Yapılandırması

Create Realistic MetaHuman Lip Sync With Mood Generator düğümü, temel gerçekçi modelin ötesinde ek yapılandırma seçenekleri sunar:

Temel Yapılandırma

İleri Bakma Ms: Geliştirilmiş dudak senkronizasyonu doğruluğu için milisaniye cinsinden ileri bakma zamanlaması.

• Varsayılan: 80ms
• Aralık: 20ms ile 200ms arası (20'ye bölünebilir olmalıdır)
• Daha yüksek değerler daha iyi senkronizasyon sağlar ancak gecikmeyi artırır

Çıktı Türü: Hangi yüz kontrollerinin oluşturulacağını kontrol eder.

• Tam Yüz: 81 yüz kontrolünün tamamı (kaşlar, gözler, burun, ağız, çene, dil)
• Sadece Ağız: Yalnızca ağız, çene ve dil ile ilgili kontroller

Performans Ayarları: Normal gerçekçi model ile aynı Intra Op Threads ve Inter Op Threads ayarlarını kullanır.

Ruh Hali Ayarları

Mevcut Ruh Halleri:

• Nötr, Mutlu, Üzgün, İğrenme, Öfke, Şaşkınlık, Korku
• Kendine Güvenen, Heyecanlı, Sıkılmış, Oyunbaz, Kafası Karışık

Ruh Hali Yoğunluğu: Ruh halinin animasyonu ne kadar güçlü etkileyeceğini kontrol eder (0.0 ile 1.0 arası)

Çalışma Zamanı Ruh Hali Kontrolü

Çalışma zamanı sırasında ruh hali ayarlarını aşağıdaki işlevleri kullanarak ayarlayabilirsiniz:

• Ruh Halini Ayarla: Mevcut ruh hali türünü değiştirir
• Ruh Hali Yoğunluğunu Ayarla: Ruh halinin animasyonu ne kadar güçlü etkilediğini ayarlar (0.0 ile 1.0 arası)
• İleri Bakma Süresini Ayarla (Ms): Senkronizasyon için ileri bakma zamanlamasını değiştirir
• Çıktı Türünü Ayarla: Tam Yüz ve Sadece Ağız kontrolleri arasında geçiş yapar

Ruh Hali Seçim Kılavuzu

İçeriğinize göre uygun ruh hallerini seçin:

Mood	En Uygun	Tipik Yoğunluk Aralığı
Nötr	Genel sohbet, anlatım, varsayılan durum	0.5 - 1.0
Mutlu	Olumlu içerik, neşeli diyalog, kutlamalar	0.6 - 1.0
Üzgün	Melankolik içerikler, duygusal sahneler, hüzünlü anlar	0.5 - 0.9
İğrenme	Olumsuz tepkiler, rahatsız edici içerik, reddedilme	0.4 - 0.8
Öfke	Agresif diyalog, yüzleşme sahneleri, hayal kırıklığı	0.6 - 1.0
Sürpriz	Beklenmedik olaylar, ifşalar, şok tepkileri	0.7 - 1.0
Korku	Tehdit edici durumlar, kaygı, gergin diyalog	0.5 - 0.9
Kendine Güvenen	Profesyonel sunumlar, liderlik diyaloğu, iddialı konuşma	0.7 - 1.0
Heyecanlı	Enerjik içerik, duyurular, coşkulu diyalog	0.8 - 1.0
Sıkıldım	Monoton içerik, ilgisiz diyalog, yorgun konuşma	0.3 - 0.7
Oynak	Gündelik sohbet, mizah, neşeli etkileşimler	0.6 - 0.9
Kafası Karışık	Soru yüklü diyalog, belirsizlik, şaşkınlık	0.4 - 0.8

Animasyon Blueprint Yapılandırması

Dudak Senkronizasyonu Yapılandırması

Standart Model

Blend Runtime MetaHuman Lip Sync düğümünün özellik panelinde yapılandırma seçenekleri bulunur:

Özellik	Varsayılan	Açıklama
Ara Hızı	25	Visemler arasındaki dudak hareketi geçişlerinin ne kadar hızlı olacağını kontrol eder. Daha yüksek değerler, daha hızlı ve daha ani geçişlerle sonuçlanır.
Zamanı Sıfırla	0.2	Ses senkronizasyonunun sıfırlanacağı saniye cinsinden süre. Bu, ses durduktan sonra dudak senkronizasyonunun devam etmesini önlemek için kullanışlıdır.

Gülme Animasyonu

Ayrıca, ses dosyasında tespit edilen kahkahalara dinamik olarak yanıt verecek kahkaha animasyonları da ekleyebilirsiniz.

1. Blend Runtime MetaHuman Laughter düğümünü ekleyin
2. RuntimeVisemeGenerator değişkeninizi Viseme Generator pinine bağlayın
3. Zaten dudak senkronizasyonu kullanıyorsanız:
   • Blend Runtime MetaHuman Lip Sync düğümünün çıktısını Blend Runtime MetaHuman Laughter düğümünün Source Pose girişine bağlayın
   • Blend Runtime MetaHuman Laughter düğümünün çıktısını Output Pose düğümünün Result pinine bağlayın
4. Yalnızca dudak senkronizasyonu olmadan kahkaha kullanılıyorsa:
   • Kaynak pozunuzu doğrudan Blend Runtime MetaHuman Laughter düğümünün Source Pose girişine bağlayın
   • Çıktıyı Result pinine bağlayın

Ses dosyasında kahkaha tespit edildiğinde, karakteriniz buna göre dinamik olarak animasyon yapacaktır:

Kahkaha Yapılandırması

Blend Runtime MetaHuman Laughter düğümünün kendi yapılandırma seçenekleri vardır:

Özellik	Varsayılan	Açıklama
Ara Hızı	25	Gülme animasyonları arasında dudak hareketlerinin ne kadar hızlı geçiş yapacağını kontrol eder. Daha yüksek değerler, daha hızlı ve daha ani geçişlere neden olur.
Zamanı Sıfırla	0.2	Saniye cinsinden, kahkahanın sıfırlanacağı süre. Bu, ses durduktan sonra kahkahanın devam etmesini önlemek için kullanışlıdır.
Maksimum Kahkaha Ağırlığı	0.7	Gülme animasyonunun maksimum yoğunluğunu ölçeklendirir (0.0 - 1.0).

Not: Kahkaha tespiti şu anda yalnızca Standart Model ile kullanılabilir.

Gerçekçi Modeller

Blend Realistic MetaHuman Lip Sync düğümünün özellik panelinde yapılandırma seçenekleri bulunur:

Özellik	Varsayılan	Açıklama
Ara Hızı	30	Konuşma sırasında yüz ifadelerinin ne kadar hızlı geçiş yapacağını kontrol eder. Daha yüksek değerler, daha hızlı ve daha ani geçişlere neden olur.
Boşta Enterpolasyon Hızı	15	Yüz ifadelerinin boş/nötr duruma ne kadar hızlı geçeceğini kontrol eder. Daha düşük değerler, dinlenme pozuna daha yumuşak ve kademeli dönüşler sağlar.
Zamanı Sıfırla	0.2	Ses durduktan sonra dudak senkronizasyonunun boş duruma sıfırlanması için geçen süre (saniye cinsinden). İfadelerin ses bittikten sonra devam etmesini önlemek için kullanışlıdır.
Boşta Kalma Durumunu Koru	yanlış	Etkinleştirildiğinde, boşta kalma sürelerinde son duygusal durumu nötr duruma sıfırlamak yerine korur.
Göz İfadelerini Koru	true	Yüzün gözle ilgili kontrollerinin boşta kalma durumunda korunup korunmayacağını kontrol eder. Yalnızca Boşta Kalma Durumunu Koru etkinleştirildiğinde geçerlidir.
Kaş İfadelerini Koru	true	İfade durumu sırasında kaşla ilgili yüz kontrollerinin korunup korunmayacağını kontrol eder. Yalnızca Bekleme Durumunu Koru etkinleştirildiğinde geçerlidir.
Ağız Şeklini Koru	yanlış	Ağız şekli kontrollerinin (dil ve çene gibi konuşmaya özgü hareketler hariç) boşta kalma durumunda korunup korunmayacağını kontrol eder. Yalnızca Boşta Kalma Durumunu Koru etkinleştirildiğinde geçerlidir.

Boş Durum Koruma

Preserve Idle State özelliği, Realistic modelinin sessizlik dönemlerini nasıl ele aldığını ele alır. Ayrık visemler kullanan ve sessizlik sırasında sürekli olarak sıfır değerlerine dönen Standard modelinin aksine, Realistic modelinin sinir ağı, MetaHuman'ın varsayılan dinlenme pozundan farklı olan ince yüz konumlandırmasını koruyabilir.

Ne Zaman Etkinleştirileceği:

• Konuşma bölümleri arasında duygusal ifadeleri koruma
• Karakter kişilik özelliklerini koruma
• Sinematik sahnelerde görsel sürekliliği sağlama

Bölgesel Kontrol Seçenekleri:

• Göz İfadeleri: Göz kısma, genişletme ve göz kapağı konumlandırmasını korur
• Kaş İfadeleri: Kaş ve alın konumlandırmasını muhafaza eder
• Ağız Şekli: Konuşma hareketlerine (dil, çene) izin verirken genel ağız eğriliğini korur

Mevcut Animasyonlarla Birleştirme

Mevcut vücut animasyonlarını ve özel yüz animasyonlarını geçersiz kılmadan dudak senkronizasyonu ve kahkaha uygulamak için:

Vücut animasyonları

Bu kurulum, yüz Animasyon Blueprint'i için geçerlidir, çünkü dudak senkronizasyonu vücut Animasyon Blueprint'inin bir parçası değildir. Özel vücut animasyonları (ör. gövde, kollar ve diğer vücut hareketleri) için, animasyon dizinizi (bir Sequence Player aracılığıyla) doğrudan vücut Animasyon Blueprint'indeki çıkış pozuna bağlamanız yeterlidir. Orada ek bir kurulum gerekmez.

1. Vücut animasyonlarınız ile nihai çıktı arasına bir Layered blend per bone düğümü ekleyin. Use Attached Parent değerinin true olduğundan emin olun.
2. Katman kurulumunu yapılandırın:
   • 1 öğe ekleyin Layer Setup dizisine
   • Katmana 3 öğe ekleyin Branch Filters dizisine, aşağıdaki Bone Name değerleriyle:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Özel yüz animasyonları için önemli: Curve Blend Option içinde "Use Max Value" seçeneğini işaretleyin. Bu, özel yüz animasyonlarının (ifadeler, duygular vb.) dudak senkronizasyonunun üzerine düzgün bir şekilde katmanlanmasını sağlar.
4. Bağlantıları yapın:
   • Özel animasyonunuz (genellikle istenen animasyon sekansı varlığına sahip bir Sequence Player) → Base Pose girişi
   • Yüz animasyonu çıktısı (dudak senkronizasyonu ve/veya kahkaha düğümlerinden) → Blend Poses 0 girişi
   • Katmanlı karıştırma düğümü → Son Result pozu

Morf Hedef Seti Seçimi

Standart Model

Standart Model, özel poz varlığı kurulumu aracılığıyla herhangi bir morf hedefi adlandırma kuralını doğal olarak destekleyen poz varlıklarını kullanır. Ek bir yapılandırma gerekmez.

Gerçekçi Modeller

Blend Realistic MetaHuman Lip Sync düğümü, yüz animasyonu için hangi morf hedefi adlandırma kuralının kullanılacağını belirleyen bir Morf Hedefi Seti özelliği içerir:

Morf Hedef Seti	Açıklama	Kullanım Alanları
MetaHuman (Varsayılan)	Standart MetaHuman morf hedefi isimleri (ör. CTRL_expressions_jawOpen)	MetaHuman karakterleri
ARKit	Apple ARKit uyumlu isimler (örneğin, JawOpen, MouthSmileLeft)	ARKit tabanlı karakterler

Dudak Senkronizasyonu Davranışını İnce Ayar Yapma

Belirli Dudak Senkronizasyonu Eğrilerini Ölçeklendirme

Modify Curve düğümünü kullanarak, dudak senkronizasyonu tarafından üretilen bireysel yüz hareketlerini azaltabilir (veya güçlendirebilirsiniz). Bu, belirli bir eğrinin ses içeriğiniz veya karakteriniz için çok belirgin göründüğü durumlarda kullanışlıdır.

Kurulum:

1. Dudak senkronizasyonu harman düğümünüzden sonra bir Modify Curve düğümü ekleyin
2. Düğüme sağ tıklayın ve Add Curve Pin seçeneğini belirleyin, ardından ölçeklemek istediğiniz eğri adını girin
3. Düğümün Apply Mode özelliğini Scale olarak ayarlayın
4. Value parametresini ayarlayın: 1.0'ın altındaki değerler hareketi azaltır, 1.0'ın üzerindeki değerler ise artırır (örneğin, 0.8 = %20 azalma)

Yaygın olarak ölçeklenen eğriler:

Eğri Adı	Amaç	Şunun için geçerlidir	Tipik Ayarlama
CTRL_expressions_tongueOut	Belirli fonemler sırasında dilin öne doğru çıkması	Standart model	0.8 çıkıntıyı azaltmak için
CTRL_expressions_jawOpen	Çene açma aralığı	Gerçekçi modeller	0.9 çene hareketini azaltmak için

Aynı Modify Curve düğümüne birden fazla eğri pimi ekleyerek aynı anda birkaç eğriyi ölçekleyebilirsiniz.

Ruh Haline Özel İnce Ayar

Ruh hali destekli modeller için belirli duygusal ifadeleri ince ayar yapabilirsiniz:

Kaş Kontrolü:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - İç kaş kaldırma
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - Dış kaş kaldırma
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - Kaş indirme

Göz İfadesi Kontrolü:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - Göz kısma
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - Yanak kaldırma

Model Karşılaştırması ve Seçimi

Modeller Arasında Seçim Yapma

Projeniz için hangi dudak senkronizasyonu modelini kullanacağınıza karar verirken şu faktörleri göz önünde bulundurun:

Dikkate Alınması Gereken Hususlar	Standart Model	Gerçekçi Model	Ruh Hali Etkin Gerçekçi Model
Karakter Uyumluluğu	MetaHuman'lar ve tüm özel karakter türleri	MetaHuman'lar (ve ARKit) karakterleri	MetaHuman'lar (ve ARKit) karakterleri
Görsel Kalite	İyi performansla verimli dudak senkronizasyonu	Daha doğal ağız hareketleriyle geliştirilmiş gerçekçilik	Duygusal ifadelerle geliştirilmiş gerçekçilik
Performans	Tüm platformlar (mobil/VR dahil) için optimize edilmiştir	Daha yüksek kaynak gereksinimleri	Daha yüksek kaynak gereksinimleri
Özellikler	14 viseme, kahkaha tespiti	81 yüz kontrolü, 3 optimizasyon seviyesi	81 yüz kontrolü, 12 ruh hali, yapılandırılabilir çıktı
Platform Desteği	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
Kullanım Alanları	Genel uygulamalar, oyunlar, VR/AR, mobil	Sinematik deneyimler, yakın etkileşimler	Duygusal hikaye anlatımı, gelişmiş karakter etkileşimi

Motor Sürümü Uyumluluğu

UE 5.2 Uyumluluk Sorunu

Eğer Unreal Engine 5.2 kullanıyorsanız, UE'nin yeniden örnekleme kütüphanesindeki bir hata nedeniyle Gerçekçi Modeller düzgün çalışmayabilir. Güvenilir dudak senkronizasyonu işlevselliğine ihtiyaç duyan UE 5.2 kullanıcıları, lütfen bunun yerine Standart Model'i kullanın.

Bu sorun yalnızca UE 5.2'ye özgüdür ve diğer motor sürümlerini etkilemez.

Performans Önerileri

• Çoğu proje için Standart Model, kalite ve performans arasında mükemmel bir denge sağlar
• MetaHuman karakterler için en yüksek görsel kaliteye ihtiyaç duyduğunuzda Gerçekçi Model'i kullanın
• Uygulamanız için duygusal ifade kontrolü önemli olduğunda Ruh Hali Etkin Gerçekçi Model'i kullanın
• Modeller arasında seçim yaparken hedef platformunuzun performans yeteneklerini göz önünde bulundurun
• Özel kullanım durumunuz için en iyi dengeyi bulmak amacıyla farklı optimizasyon seviyelerini test edin

Sorun Giderme

Yaygın Sorunlar

Gerçekçi Modeller için Jeneratörün Yeniden Oluşturulması: Gerçekçi Modellerle güvenilir ve tutarlı bir çalışma için, bir süre hareketsiz kaldıktan sonra yeni ses verileri beslemek istediğinizde jeneratörü her seferinde yeniden oluşturmanız önerilir. Bunun nedeni, ONNX çalışma zamanı davranışının, sessizlik dönemlerinden sonra jeneratörleri yeniden kullanırken dudak senkronizasyonunun durmasına neden olabilmesidir.

Örneğin, lip sync oluşturucuyu her oynatma başlangıcında yeniden oluşturabilirsiniz; örneğin, Play Sound 2D'yi her çağırdığınızda veya ses dalgası oynatma ve lip sync'i başlatmak için başka bir yöntem kullandığınızda olduğu gibi:

Runtime Text To Speech Entegrasyonu için Eklenti Konumu: Runtime MetaHuman Lip Sync ile Runtime Text To Speech'i birlikte kullanırken (her iki eklenti de ONNX Runtime kullanır), eklentiler motorun Marketplace klasörüne kurulduğunda paketlenmiş yapılarda sorunlar yaşayabilirsiniz. Bunu düzeltmek için:

1. Her iki eklentiyi de UE kurulum klasörünüzdeki \Engine\Plugins\Marketplace altında bulun (örneğin, C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)
2. RuntimeMetaHumanLipSync ve RuntimeTextToSpeech klasörlerini projenizin Plugins klasörüne taşıyın
3. Projenizde Plugins klasörü yoksa, .uproject dosyanızla aynı dizinde bir tane oluşturun
4. Unreal Editor'ü yeniden başlatın

Bu, motorun Marketplace dizininden birden fazla ONNX Runtime tabanlı eklenti yüklendiğinde oluşabilecek uyumluluk sorunlarını giderir.

Paketleme Yapılandırması (Windows): Paketlenmiş projenizde Windows üzerinde dudak senkronizasyonu düzgün çalışmıyorsa, Development yerine Shipping derleme yapılandırmasını kullandığınızdan emin olun. Development yapılandırması, paketlenmiş derlemelerde gerçekçi modellerin ONNX çalışma zamanı ile sorunlara neden olabilir.

Bunu düzeltmek için:

1. Proje Ayarlarınız → Paketleme bölümünde, Derleme Yapılandırmasını Shipping olarak ayarlayın
2. Projenizi yeniden paketleyin

Yalnızca Blueprint Projeleri

Bazı yalnızca Blueprint projelerinde, Unreal Engine Shipping seçilmiş olsa bile hala Development yapılandırmasında derleme yapabilir. Bu durumda, en az bir C++ sınıfı ekleyerek (boş olabilir) projenizi bir C++ projesine dönüştürün. Bunu yapmak için UE düzenleyici menüsünde Tools → New C++ Class (Araçlar → Yeni C++ Sınıfı) yolunu izleyin ve boş bir sınıf oluşturun. Bu, projenizi Shipping yapılandırmasında doğru şekilde derlemeye zorlayacaktır. Projeniz işlevsellik açısından yalnızca Blueprint tabanlı kalabilir; C++ sınıfı yalnızca doğru derleme yapılandırması için gereklidir.

Bozuk Dudak Senkronizasyonu Tepkiselliği: Streaming Sound Wave veya Capturable Sound Wave kullanırken dudak senkronizasyonunun zamanla daha az tepkisel hale geldiğini fark ederseniz, bunun nedeni bellek birikimi olabilir. Varsayılan olarak, her yeni ses eklendiğinde bellek yeniden tahsis edilir. Bu sorunu önlemek için, birikmiş belleği boşaltmak amacıyla ReleaseMemory fonksiyonunu periyodik olarak, örneğin her 30 saniyede bir çağırın.

Performans Optimizasyonu:

• Gerçekçi modeller için İşleme Parça Boyutunu performans gereksinimlerinize göre ayarlayın
• Hedef donanımınız için uygun iş parçacığı sayılarını kullanın
• Tam yüz animasyonu gerekmediğinde, ruh hali destekli modeller için Yalnızca Ağız çıktı türünü kullanmayı değerlendirin