Eklenti Yapılandırması

Model Yapılandırması

Her oynatma için gerçekçi model jeneratörlerini yeniden oluşturun.

Realistic ve Mood-Enabled Realistic modelleriyle güvenilir çalışma için, her yeni ses çalımından önce üreticiyi yeniden oluşturun; uzun sessizlikler boyunca aynı üreticiyi yeniden kullanmak yerine. Ayrıntılar için Sorun Giderme bölümündeki Üreticiyi Yeniden Oluşturma başlığına bakın.

Standart Model Yapılandırması

Create Runtime Viseme Generator düğümü, çoğu senaryo için iyi çalışan varsayılan ayarları kullanır. Yapılandırma, Animation Blueprint harmanlama düğümü özellikleri aracılığıyla yapılır.

Animation Blueprint yapılandırma seçenekleri için aşağıdaki Lip Sync Yapılandırması bölümüne bakın.

Gerçekçi Model Yapılandırması

Create Realistic MetaHuman Lip Sync Generator düğümü, oluşturucunun davranışını özelleştirmenize olanak tanıyan isteğe bağlı bir Configuration parametresini kabul eder:

Model Türü

Model Tipi ayarı, gerçekçi modelin hangi sürümünün kullanılacağını belirler:

Model Türü	Performans	Görsel Kalite	Gürültü Yönetimi	Önerilen Kullanım Senaryoları
Yüksek düzeyde optimize edilmiş (Varsayılan)	En yüksek performans, en düşük CPU kullanımı	İyi kalite	Arka plan gürültüsü veya insan sesi dışındaki seslerde fark edilir ağız hareketleri gösterebilir	Temiz ses ortamları, performans açısından kritik senaryolar
Yarı optimize edilmiş	İyi performans, orta düzey CPU kullanımı	Yüksek kalite	Gürültülü seslerde daha iyi stabilite	Dengeli performans ve kalite, karma ses koşulları
Orijinal	Modern CPU'larda gerçek zamanlı kullanım için uygundur	En yüksek kalite	Arka plan gürültüsü ve insan sesi dışındaki seslerde en stabil	Yüksek kaliteli prodüksiyonlar, gürültülü ses ortamları, maksimum doğruluk gerektiğinde

Performans Ayarları

İşlem İçi İş Parçacıkları: Dahili model işleme operasyonları için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılamayı kullanır (genellikle mevcut CPU çekirdeklerinin 1/4'ü, en fazla 4)
• 1-16: İş parçacığı sayısını manuel olarak belirtin. Daha yüksek değerler çok çekirdekli sistemlerde performansı artırabilir ancak daha fazla CPU kullanır

İşlemler Arası İş Parçacıkları: Farklı model işlemlerinin paralel yürütülmesi için kullanılan iş parçacığı sayısını kontrol eder.

• 0 (Varsayılan/Otomatik): Otomatik algılamayı kullanır (genellikle mevcut CPU çekirdeklerinin 1/8'i, en fazla 2)
• 1-8: İş parçacığı sayısını manuel olarak belirtin. Gerçek zamanlı işleme için genellikle düşük tutulur.

İşleme Parça Boyutu

İşlem Parça Boyutu, her çıkarım adımında kaç örneğin işleneceğini belirler. Varsayılan değer 160 örnektir (16kHz'de 10ms ses):

• Daha küçük değerler daha sık güncelleme sağlar ancak CPU kullanımını artırır.
• Daha büyük değerler CPU yükünü azaltır ancak dudak senkronizasyonu tepki hızını düşürebilir.
• Optimum hizalama için 160'ın katlarının kullanılması önerilir.

Duygu Durumu Etkin Model Yapılandırması

Create Realistic MetaHuman Lip Sync With Mood Generator düğümü, temel gerçekçi modelin ötesinde ek yapılandırma seçenekleri sağlar:

Temel Yapılandırma

İleri Bakış Ms: İleri bakış zamanlaması milisaniye cinsinden, dudak senkronu doğruluğunu artırmak içindir.

• Varsayılan: 80ms
• Aralık: 20ms ile 200ms (20'ye bölünebilir olmalı)
• Daha yüksek değerler daha iyi senkronizasyon sağlar ancak gecikmeyi artırır.

Çıktı Türü: Hangi yüz kontrollerinin oluşturulacağını kontrol eder.

• Tüm Yüz: Tüm 81 yüz kontrolü (kaşlar, gözler, burun, ağız, çene, dil)
• Sadece Ağız: Sadece ağız, çene ve dil ile ilgili kontroller

Performans Ayarları: Normal gerçekçi modelle aynı Intra Op Threads ve Inter Op Threads ayarlarını kullanır.

Ruh Hali Ayarları

Mevcut Ruh Halleri:

• Nötr, Mutlu, Üzgün, İğrenmiş, Kızgın, Şaşkın, Korkmuş
• Kendinden emin, Heyecanlı, Sıkılmış, Oyunbaz, Kafası karışmış

Duygu Yoğunluğu: Duygunun animasyonu ne kadar güçlü etkilediğini kontrol eder (0.0 ile 1.0 arası)

Çalışma Zamanı Ruh Hali Kontrolü

Çalışma zamanında aşağıdaki işlevleri kullanarak ruh hali ayarlarını değiştirebilirsiniz:

• Ruh Halini Ayarla: Geçerli ruh hali türünü değiştirir
• Ruh Hali Yoğunluğunu Ayarla: Ruh halinin animasyonu ne kadar güçlü etkilediğini ayarlar (0.0 ile 1.0 arası)
• İleri Bakış Süresini Ayarla (Ms): Senkronizasyon için ileri bakış zamanlamasını değiştirir
• Çıktı Türünü Ayarla: Tam Yüz ve Yalnızca Ağız kontrolleri arasında geçiş yapar

Ruh Hali Seçim Kılavuzu

İçeriğinize göre uygun ruh hallerini seçin:

Mood	En Uygun	Tipik Yoğunluk Aralığı
Nötr	Genel konuşma, anlatım, varsayılan durum	0.5 - 1.0
Mutlu	Olumlu içerik, neşeli diyalog, kutlamalar	0.6 - 1.0
Üzgün	Melankolik içerik, duygusal sahneler, hüzünlü anlar	0.5 - 0.9
İğrenme	Olumsuz tepkiler, tiksindirici içerik, reddedilme	0.4 - 0.8
Öfke	Agresif diyalog, çatışma sahneleri, hayal kırıklığı	0.6 - 1.0
Şaşkınlık	Beklenmedik olaylar, açığa çıkan gerçekler, şok tepkileri	0.7 - 1.0
Korku	Tehdit edici durumlar, kaygı, gergin diyalog	0.5 - 0.9
Özgüvenli	Profesyonel sunumlar, liderlik diyaloğu, kendinden emin konuşma	0.7 - 1.0
Heyecanlı	Enerjik içerik, duyurular, coşkulu diyalog	0.8 - 1.0
Sıkılmış	Monoton içerik, ilgisiz diyalog, yorgun konuşma	0.3 - 0.7
Oyunbaz	Gündelik sohbet, mizah, neşeli etkileşimler	0.6 - 0.9
Kafası Karışık	Soru ağırlıklı diyalog, belirsizlik, kafa karışıklığı	0.4 - 0.8

Animation Blueprint Yapılandırması

Lip Sync Yapılandırması

Standart Model

Blend Runtime MetaHuman Lip Sync düğümünün özellik panelinde yapılandırma seçenekleri bulunur:

Özellik	Varsayılan	Açıklama
Interpolasyon Hızı	25	Dudak hareketlerinin visemler arasında ne kadar hızlı geçiş yaptığını kontrol eder. Daha yüksek değerler daha hızlı ve daha ani geçişler sağlar.
Sıfırlama Süresi	0.2	Dudak senkronizasyonunun sıfırlandığı saniye cinsinden süre. Bu, ses durduktan sonra dudak senkronizasyonunun devam etmesini önlemek için kullanışlıdır.

Gülme Animasyonu

Ayrıca, seste tespit edilen kahkahalara dinamik olarak tepki verecek kahkaha animasyonları da ekleyebilirsiniz:

1. Blend Runtime MetaHuman Laughter düğümünü ekleyin
2. RuntimeVisemeGenerator değişkeninizi Viseme Generator pinine bağlayın
3. Eğer zaten dudak senkronizasyonu kullanıyorsanız:
   • Blend Runtime MetaHuman Lip Sync düğümünün çıktısını Blend Runtime MetaHuman Laughter düğümünün Source Pose girişine bağlayın
   • Blend Runtime MetaHuman Laughter düğümünün çıktısını Output Pose'un Result pinine bağlayın
4. Yalnızca kahkaha kullanılıyorsa, dudak senkronizasyonu olmadan:
   • Kaynak pozunuzu doğrudan Blend Runtime MetaHuman Laughter düğümünün Source Pose girişine bağlayın.
   • Çıktıyı Result pinine bağlayın.

Seste kahkaha algılandığında, karakteriniz buna göre dinamik olarak canlandırılacaktır:

Gülme Yapılandırması

Blend Runtime MetaHuman Laughter düğümünün kendi yapılandırma seçenekleri vardır:

Özellik	Varsayılan	Açıklama
Ara Değerleme Hızı	25	Dudak hareketlerinin kahkaha animasyonları arasında ne kadar hızlı geçiş yaptığını kontrol eder. Daha yüksek değerler daha hızlı ve daha ani geçişler sağlar.
Sıfırlama Süresi	0.2	Kahkahanın sıfırlandığı saniye cinsinden süre. Bu, ses durduktan sonra kahkahanın devam etmesini önlemek için kullanışlıdır.
Maksimum Kahkaha Ağırlığı	0.7	Kahkaha animasyonunun maksimum yoğunluğunu ölçekler (0.0 - 1.0).

Not: Kahkaha algılama şu anda yalnızca Standart Model ile kullanılabilir.

Gerçekçi Modeller

Blend Realistic MetaHuman Lip Sync düğümü, özellikler panelinde yapılandırma seçeneklerine sahiptir:

Özellik	Varsayılan	Açıklama
Enterpolasyon Hızı	30	Konuşma sırasında yüz ifadelerinin ne kadar hızlı geçiş yaptığını kontrol eder. Daha yüksek değerler daha hızlı ve daha ani geçişler sağlar.
Boşta Enterpolasyon Hızı	15	Yüz ifadelerinin boşta/nötr duruma ne kadar hızlı geri döndüğünü kontrol eder. Daha düşük değerler dinlenme pozuna daha yumuşak ve daha kademeli dönüşler sağlar.
Sıfırlama Süresi	0.2	Lip sync'in boşta duruma sıfırlanacağı saniye cinsinden süre. Ses durduktan sonra ifadelerin devam etmesini önlemek için kullanışlıdır.
Boşta Durumu Koru	false	Etkinleştirildiğinde, boşta kalma sürelerinde nötr duruma sıfırlamak yerine son duygusal durumu korur.
Göz İfadelerini Koru	true	Boşta durumda gözle ilgili yüz kontrollerinin korunup korunmadığını kontrol eder. Yalnızca Boşta Durumu Koru etkinleştirildiğinde etkilidir.
Kaş İfadelerini Koru	true	Boşta durumda kaşla ilgili yüz kontrollerinin korunup korunmadığını kontrol eder. Yalnızca Boşta Durumu Koru etkinleştirildiğinde etkilidir.
Ağız Şeklini Koru	false	Boşta durumda ağız şekli kontrollerinin (dil ve çene gibi konuşmaya özgü hareketler hariç) korunup korunmadığını kontrol eder. Yalnızca Boşta Durumu Koru etkinleştirildiğinde etkilidir.

Boşta Kalma Durumunun Korunması

Preserve Idle State özelliği, Realistic modelin sessizlik dönemlerini nasıl ele aldığını açıklar. Sessizlik sırasında ayrık visemler kullanan ve tutarlı bir şekilde sıfır değerlere dönen Standard modelin aksine, Realistic modelin sinir ağı, MetaHuman'ın varsayılan dinlenme pozundan farklı olan ince yüz konumlandırmasını sürdürebilir.

Ne Zaman Etkinleştirilmeli:

• Konuşma bölümleri arasında duygusal ifadeleri sürdürme
• Karakter kişilik özelliklerini koruma
• Sinematik sahnelerde görsel sürekliliği sağlama

Bölgesel Kontrol Seçenekleri:

• Göz İfadeleri: Göz kısılmasını, genişlemesini ve göz kapağı konumlandırmasını korur.
• Kaş İfadeleri: Kaş ve alın konumlandırmasını korur.
• Ağız Şekli: Konuşma hareketlerinin (dil, çene) sıfırlanmasına izin verirken genel ağız kıvrımını korur.

Mevcut Animasyonlarla Birleştirme

Video anlatımı

Okumak yerine izlemeyi mi tercih edersiniz? Bu kurulumu anlatan video eğitimine göz atın.

Mevcut vücut animasyonları ve özel yüz animasyonlarının yanı sıra, bunları geçersiz kılmadan dudak senkronu ve kahkaha uygulamak için:

Vücut animasyonları

Bu kurulum, yüz Animation Blueprint'i için geçerlidir, çünkü lip sync, beden Animation Blueprint'inin bir parçası değildir. Özel beden animasyonları için (örn. gövde, kollar ve diğer beden hareketleri), animasyon sekansınızı bir Sequence Player aracılığıyla doğrudan beden Animation Blueprint'indeki çıkış pozuna bağlamanız yeterlidir. Orada ek bir kurulum gerekmez.

1. Vücut animasyonlarınız ile son çıktı arasına bir Layered blend per bone düğümü ekleyin. Use Attached Parent değerinin true olduğundan emin olun.
2. Katman kurulumunu yapılandırın:
   • Layer Setup dizisine 1 öğe ekleyin
   • Katman için Branch Filters öğesine 3 öğe ekleyin, aşağıdaki Bone Name'lerle:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Özel yüz animasyonları için önemli: Curve Blend Option içinde "Maksimum Değeri Kullan" seçeneğini seçin. Bu, özel yüz animasyonlarının (ifadeler, duygular vb.) lip sync'in üzerine doğru şekilde katmanlanmasını sağlar.
4. Bağlantıları yapın:
   • Özel animasyonunuz (genellikle istenen animasyon sekansı varlığını içeren bir Sequence Player) → Base Pose girişi
   • Yüz animasyonu çıktısı (lip sync ve/veya kahkaha düğümlerinden) → Blend Poses 0 girişi
   • Katmanlı harmanlama düğümü → Son Result pozu

Morph Target Set Seçimi

Standart Model

Standart Model, özel poz varlığı kurulumu aracılığıyla her türlü morf hedefi adlandırma kuralını doğal olarak destekleyen poz varlıklarını kullanır. Ek yapılandırma gerekmez.

Gerçekçi Modeller

Blend Realistic MetaHuman Lip Sync düğümü, yüz animasyonu için hangi morf hedefi adlandırma kuralının kullanılacağını belirleyen bir Morf Hedefi Seti özelliği içerir:

Morph Target Seti	Açıklama	Kullanım Durumları
MetaHuman (Varsayılan)	Standart MetaHuman morph target adları (örn. CTRL_expressions_jawOpen)	MetaHuman karakterleri
ARKit	Apple ARKit uyumlu adlar (örn. JawOpen, MouthSmileLeft)	ARKit tabanlı karakterler

Lip Sync Davranışına İnce Ayar Yapma

Belirli Lip Sync Eğrilerini Ölçekleme

Modify Curve düğümünü kullanarak dudak senkronizasyonu tarafından üretilen bireysel yüz hareketlerini zayıflatabilir (veya güçlendirebilirsiniz). Bu, belirli bir eğrinin ses içeriğiniz veya karakteriniz için çok belirgin görünmesi durumunda kullanışlıdır.

Kurulum:

1. Dudak senkronizasyonu blend düğümünden sonra bir Modify Curve düğümü ekleyin
2. Düğüme sağ tıklayın ve Add Curve Pin seçeneğini seçin, ardından ölçeklemek istediğiniz eğri adını girin
3. Düğümün Apply Mode özelliğini Scale olarak ayarlayın
4. Value parametresini ayarlayın: 1.0'ın altındaki değerler hareketi sönümler, 1.0'ın üzerindeki değerler onu güçlendirir (ör. 0.8 = %20 azalma)

Yaygın Olarak Ölçeklenen Eğriler:

Eğri Adı	Amaç	Uygulandığı Yer	Tipik Ayar
CTRL_expressions_tongueOut	Belirli fonemler sırasında dilin öne doğru çıkması	Standart model	0.8, öne çıkmayı azaltmak için
CTRL_expressions_jawOpen	Çene açılma aralığı	Gerçekçi modeller	0.9, çene hareketini azaltmak için

Aynı Modify Curve düğümüne birden fazla eğri pini ekleyerek birkaç eğriyi aynı anda ölçekleyebilirsiniz.

Ruh Haline Özel İnce Ayar

Mood özellikli modeller için belirli duygusal ifadeleri ince ayar yapabilirsiniz:

Kaş Kontrolü:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - İç kaş kaldırma
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - Dış kaş kaldırma
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - Kaş indirme

Göz İfadesi Kontrolü:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - Göz kısma
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - Yanak kaldırma

Model Karşılaştırma ve Seçim

Modeller Arasında Seçim

Projeniz için hangi dudak senkronizasyonu modelini kullanacağınıza karar verirken şu faktörleri göz önünde bulundurun:

Kriter	Standart Model	Gerçekçi Model	Ruh Hali Destekli Gerçekçi Model
Karakter Uyumluluğu	MetaHuman'lar ve tüm özel karakter türleri	MetaHuman'lar (ve ARKit) karakterleri	MetaHuman'lar (ve ARKit) karakterleri
Görsel Kalite	İyi dudak senkronizasyonu ve verimli performans	Gelişmiş gerçekçilik ve daha doğal ağız hareketleri	Duygusal ifadelerle gelişmiş gerçekçilik
Performans	Mobil/VR dahil tüm platformlar için optimize edilmiştir	Daha yüksek kaynak gereksinimleri	Daha yüksek kaynak gereksinimleri
Özellikler	14 visem, kahkaha algılama	81 yüz kontrolü, 3 optimizasyon seviyesi	81 yüz kontrolü, 12 ruh hali, yapılandırılabilir çıktı
Platform Desteği	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
Kullanım Senaryoları	Genel uygulamalar, oyunlar, VR/AR, mobil	Sinematik deneyimler, yakın çekim etkileşimler	Duygusal hikaye anlatımı, gelişmiş karakter etkileşimi

Motor Sürüm Uyumluluğu

UE 5.2 Uyumluluk Sorunu

Unreal Engine 5.2 kullanıyorsanız, Realistic Models, UE'nin yeniden örnekleme kitaplığındaki bir hata nedeniyle düzgün çalışmayabilir. Güvenilir dudak senkronizasyonu işlevine ihtiyaç duyan UE 5.2 kullanıcıları için lütfen bunun yerine Standard Model kullanın.

Bu sorun yalnızca UE 5.2'ye özgüdür ve diğer motor sürümlerini etkilemez.

Performans Önerileri

• Çoğu proje için, Standart Model kalite ve performans arasında mükemmel bir denge sağlar.
• MetaHuman karakterler için en yüksek görsel doğruluğa ihtiyacınız olduğunda Gerçekçi Model'i kullanın.
• Duygusal ifade kontrolü uygulamanız için önemli olduğunda Duygu Durumu Etkin Gerçekçi Model'i kullanın.
• Modeller arasında seçim yaparken hedef platformunuzun performans yeteneklerini göz önünde bulundurun.
• Kendi özel kullanım durumunuz için en iyi dengeyi bulmak üzere farklı optimizasyon seviyelerini test edin.

Sorun Giderme

Yaygın Sorunlar

Gerçekçi Modeller için Jeneratör Yeniden Oluşturma: Gerçekçi Modeller ile güvenilir ve tutarlı bir çalışma için, bir hareketsizlik süresinin ardından her yeni ses verisi beslemek istediğinizde jeneratörü yeniden oluşturmanız önerilir. Bunun nedeni, sessizlik dönemlerinden sonra jeneratörleri yeniden kullanırken dudak senkronizasyonunun çalışmayı durdurmasına neden olabilen ONNX runtime davranışıdır.

Örneğin, lip sync oluşturucusunu her oynatma başlangıcında yeniden oluşturabilirsiniz; örneğin Play Sound 2D çağırdığınızda veya ses dalgası oynatmayı ve lip sync'i başlatmak için başka herhangi bir yöntem kullandığınızda:

Runtime Text To Speech Entegrasyonu için Eklenti Konumu: Runtime MetaHuman Lip Sync'i Runtime Text To Speech ile birlikte kullanırken (her iki eklenti de ONNX Runtime kullanır), eklentiler motorun Marketplace klasörüne yüklenmişse sorunlarla karşılaşabilirsiniz. Bunu düzeltmek için:

1. Her iki eklentiyi de UE kurulum klasörünüzde \Engine\Plugins\Marketplace altında bulun (ör. C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)
2. RuntimeMetaHumanLipSync ve RuntimeTextToSpeech klasörlerinin ikisini de projenizin Plugins klasörüne taşıyın
3. Projenizde bir Plugins klasörü yoksa, .uproject dosyanızla aynı dizinde bir tane oluşturun
4. Unreal Editor'u yeniden başlatın

Bu, motorun Marketplace dizininden birden fazla ONNX Runtime tabanlı eklenti yüklendiğinde oluşabilecek uyumluluk sorunlarını ele alır.

Paketleme Yapılandırması (Windows): Paketlenmiş projenizde lip sync Windows'ta doğru çalışmıyorsa, Development yerine Shipping derleme yapılandırmasını kullandığınızdan emin olun. Development yapılandırması, paketlenmiş derlemelerde gerçekçi modeller ONNX runtime ile sorunlara neden olabilir.

Bunu düzeltmek için:

1. Proje Ayarları → Paketleme bölümünde, Derleme Yapılandırmasını Shipping olarak ayarlayın
2. Projenizi yeniden paketleyin

Yalnızca Blueprint Projeleri

Bazı yalnızca Blueprint projelerinde Unreal Engine, Shipping seçilmiş olsa bile projeyi hâlâ Development yapılandırmasında derleyebilir. Bu durumda, en az bir C++ sınıfı ekleyerek (boş olabilir) projenizi bir C++ projesine dönüştürün. Bunun için UE editörü menüsünden Araçlar → Yeni C++ Sınıfı yolunu izleyin ve boş bir sınıf oluşturun. Bu, projenin Shipping yapılandırmasında doğru şekilde derlenmesini sağlayacaktır. Projeniz işlevsellik açısından yalnızca Blueprint olarak kalabilir; C++ sınıfı yalnızca doğru derleme yapılandırması için gereklidir.

Bozulmuş Dudak Senkronu Tepkiselliği: Streaming Sound Wave veya Capturable Sound Wave kullanırken dudak senkronunun zamanla daha az tepkisel hale geldiğini fark ederseniz, bu bellek birikiminden kaynaklanıyor olabilir. Varsayılan olarak, her yeni ses eklendiğinde bellek yeniden tahsis edilir. Bu sorunu önlemek için, birikmiş belleği boşaltmak adına ReleaseMemory işlevini periyodik olarak, örneğin yaklaşık her 30 saniyede bir çağırın.

Performans Optimizasyonu:

• Gerçekçi modeller için İşlem Parça Boyutunu performans gereksinimlerinize göre ayarlayın.
• Hedef donanımınız için uygun iş parçacığı sayıları kullanın.
• Tam yüz animasyonu gerekmediğinde, mood destekli modeller için Mouth Only çıktı tipini kullanmayı değerlendirin.