Ana içeriğe geç

Eklentiyi özel karakterlerle nasıl kullanırsınız

Bu kılavuz, Runtime MetaHuman Lip Sync'i MetaHuman olmayan karakterler için kurma sürecinde size adım adım rehberlik eder. Bu süreç, animasyon kavramlarına ve rigging'e aşinalık gerektirir. Belirli karakteriniz için uygulama konusunda yardıma ihtiyacınız olursa, [email protected] adresinden profesyonel destek alabilirsiniz.

Dudak senkronizasyonu modelleri hakkında önemli not​

Özel Karakter Uyumluluğu

Özel karakterler yalnızca Standart (Daha Hızlı) model ile desteklenir.

Gerçekçi (Daha Yüksek Kalite) model, MetaHuman ve ARKit karakterleri için tasarlanmıştır ve diğer özel karakterlerle kullanılamaz. Bu kılavuz boyunca, ana kurulum kılavuzundan Standart model talimatlarına atıfta bulunulduğunda bu talimatları izlemelisiniz.

Gerekli Eklenti: Standart Model'i özel karakterlerle kullanmak için, ana kurulum kılavuzunun Ön Koşullar bölümünde açıklandığı gibi Standart Dudak Senkronizasyonu Eklentisi'ni yüklemelisiniz.

Bu eklenti, bu kılavuzda açıklanan tüm özel karakter uygulamaları için gereklidir.

Ön Koşullar​

Başlamadan önce, karakterinizin aşağıdaki gereksinimleri karşıladığından emin olun:

  • Geçerli bir iskelete sahip
  • Yüz ifadeleri için morf hedefleri (karışım şekilleri) içerir
  • İdeal olarak, görselleri tanımlayan 10+ morf hedefine sahiptir (daha fazla görsel = daha iyi dudak senkronizasyonu kalitesi)

Eklenti, karakterinizin morf hedeflerini aşağıdaki standart visemlerle eşleştirmenizi gerektirir:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Not: Karakterinizin farklı bir viseme seti varsa (ki bu muhtemeldir), her viseme için birebir eşleşmeye ihtiyacınız yoktur. Yaklaşık eşleşmeler genellikle yeterlidir - örneğin, karakterinizin SH visemesini eklentinin CH visemesine eşlemeniz, yakından ilişkili postalveolar sesler oldukları için etkili bir şekilde çalışacaktır.

Viseme eşleme referansı​

İşte yaygın visem sistemleri ile eklentinin gerektirdiği visemler arasındaki eşleştirmeler:

ARKit, yüz animasyonu için çeşitli ağız şekilleri de dahil olmak üzere kapsamlı bir dizi karışım şekli (blendshape) sağlar. Bunları RuntimeMetaHumanLipSync visem'lerine şu şekilde eşleyebilirsiniz:

RuntimeMetaHumanLipSync VisemeARKit EşdeğeriNotlar
SilmouthCloseNötr/dinlenme pozisyonu
PPmouthPressLeft + mouthPressRightÇift dudak sesleri için her iki basma şeklini birlikte kullanın.
FFlowerLipBiteLeft + lowerLipBiteRight (veya mouthRollLower)Alt dudak üst dişlere temas eder, "f" ve "v" seslerinde olduğu gibi.
THtongueOutARKit doğrudan dil kontrolüne sahiptir.
DDjawOpen (mild) + tongueUp (if you have tongue rig)Dil alveoler çıkıntıya değer; çenede hafif bir düşüş olur.
KKmouthLeft or mouthRight (mild)Hafif ağız köşesi çekişi, damak seslerini yaklaşık olarak taklit eder.
CHjawOpen (mild) + mouthFunnel (mild)Postalveolar sesler için birleştir
SSmouthFrownSibilantlar için hafif bir kaş çatma kullanın
NNjawOpen (very mild) + mouthCloseNeredeyse kapalı ağız, hafif çene açıklığı ile
RRmouthPucker (mild)R-sesleri için ince yuvarlama
AAjawOpen + mouthStretchLeft + mouthStretchRight (veya jawOpen + mouthOpen)"ah" sesi için ağzı geniş açma
EjawOpen (mild) + mouthSmileHafif gülümsemeyle orta açık pozisyon
IHmouthSmile (mild)Dudakların hafifçe ayrılması
OHmouthFunnelYuvarlak açık şekil
OUmouthPuckerSıkıca yuvarlatılmış dudaklar

Özel bir Poz Varlığı oluşturma​

Karakteriniz için Blend Runtime MetaHuman Lip Sync düğümünde kullanılacak özel bir poz varlığı oluşturmak için şu adımları izleyin:

1. Karakterinizin İskelet Ağını bulun​

Morfolojik hedefleri (blend şekilleri) dudak senkronizasyonu animasyonu için kullanmak istediğiniz iskelet ağını bulun. Bu, karakterinizin tasarımına bağlı olarak tam vücut ağı veya sadece bir yüz ağı olabilir.

2. Morph Target'ları ve Eğrileri Doğrulayın​

Devam etmeden önce, iskelet ağınızın dudak senkronizasyonu animasyonu için uygun morf hedeflerine ve karşılık gelen eğrilere sahip olduğunu kontrol edin.

Morf Hedeflerini Kontrol Edin: İskelet ağınızın, dudak senkronizasyonu animasyonu için görsel birim (viseme) olarak kullanılabilecek morf hedefleri (karışım şekilleri) içerdiğini doğrulayın. Yüz animasyonu desteğine sahip çoğu karakter, belirli fonem/görsel birim morf hedeflerine sahip olmalıdır.

Example of morph targets in a character

Önemli: Eğriler Sekmesini Doğrulayın Bu adım, Blender veya diğer harici yazılımlardan dışa aktarılan karakterler için özellikle önemlidir:

  1. İskelet Ağı düzenleyicisinde Eğriler sekmesini açın
  2. Morf hedeflerinize karşılık gelen eğrileri görüp görmediğinizi kontrol edin
  3. Eğriler sekmesi boşsa ancak morf hedefleri mevcutsa, morf hedeflerinizle tamamen aynı adları kullanarak manuel olarak yeni eğriler ekleyin

Not: Bu sorun genellikle Blender dışa aktarımlarında, morph hedeflerinin başarıyla içe aktarılmasına rağmen animasyon eğrilerinin otomatik olarak oluşturulmadığı durumlarda ortaya çıkar. Eşleşen eğriler olmadan, animasyon Control Rig'e bake edildikten sonra düzgün şekilde oluşmayacaktır.

Alternatif Çözüm: Blender'dan dışa aktarım sırasında bu sorunu önlemek için FBX dışa aktarma ayarlarınızda Özel Özellikler ve Animasyon seçeneklerini etkinleştirmeyi deneyin; bu, morf hedeflerinin yanı sıra animasyon eğrilerinin de dahil edilmesine yardımcı olabilir.

3. Referans Poz Animasyonu Oluşturun​

  1. Varlık Oluştur -> Animasyon Oluştur -> Referans Pozu seçeneğine gidin
  2. Animasyon dizisi için açıklayıcı bir ad girin ve uygun bir konuma kaydedin
  3. Oluşturulan Animasyon Dizisi otomatik olarak açılacak ve döngü halinde oynatılan boş bir animasyon gösterecektir

Creating a reference pose asset Naming the reference pose asset

  1. Animasyon oynatımını durdurmak ve daha kolay düzenleme yapmak için Duraklat düğmesine tıklayın.

Pausing animation playback

4. Animasyon Dizisini Düzenle​

  1. Edit in Sequencer -> Edit with FK Control Rig seçeneğine tıklayın
  2. Bake to Control Rig iletişim kutusunda, hiçbir ayarı değiştirmeden Bake to Control Rig düğmesine tıklayın

Editing with FK Control Rig Baking to Control Rig

  1. Düzenleyici, Sequencer sekmesi açıkken Animasyon Moduna geçecek
  2. Görüntüleme Aralığı Bitiş Süresini 0016 olarak ayarlayın (bu, Çalışma Aralığı Bitişini de otomatik olarak 0016 yapacaktır)
  3. Kaydırıcının sağ kenarını sequencer penceresinin sağ ucuna sürükleyin

5. Animasyon Eğrilerini Hazırlayın​

  1. Animasyon Dizisi varlığına geri dönün ve Eğriler listesindeki morf hedeflerini bulun (görünmüyorlarsa, Animasyon Dizisi varlığını kapatıp yeniden açın)
  2. Dudak senkronizasyonu için kullanmak istediğiniz visemler veya ağız hareketleriyle ilgili olmayan morf hedeflerini kaldırın

6. Viseme eşlemenizi planlayın​

Karakterinizin visemelerini eklentinin gerektirdiği kümeyle eşleştirmek için bir eşleme planı oluşturun. Örneğin:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Karakterinizin viseme seti, gerekli tüm visemeler için birebir eşleşmelere sahip olmadığında, tekrarlanan eşlemelerin olmasının kabul edilebilir olduğunu unutmayın.

7. Her bir visemi canlandırın​

  1. Her bir visem için ilgili morf hedef eğrilerini 0.0'dan 1.0'a canlandırın
  2. Her visem animasyonunu farklı bir karede başlatın
  3. Doğal görünümlü visem şekilleri oluşturmak için gerektiğinde ek eğriler (çene/ağız açıklığı, dil pozisyonu vb.) yapılandırın

8. Bir Poz Varlığı Oluşturun​

  1. Create Asset -> Pose Asset -> Current Animation seçeneğine gidin
  2. Pose Asset için açıklayıcı bir ad girin ve uygun bir konuma kaydedin
  3. Oluşturulan Pose Asset otomatik olarak açılacak ve her biri bir viseme karşılık gelen Pose_0, Pose_1 gibi pozları gösterecektir
  4. Viseme ağırlıklarını önizleyerek beklendiği gibi çalıştıklarından emin olun

Creating a pose asset Naming the pose asset Pose asset with visemes

9. Poz Varlığını Sonlandır​

  1. Her pozu, Ön Koşullar bölümündeki viseme adlarıyla eşleşecek şekilde yeniden adlandırın
  2. Kullanılmayan tüm pozları silin

Ses işleme ve karıştırma ayarlarının yapılması​

Poz varlığınız hazır olduğunda, ses işleme ve karıştırma düğümlerini ayarlamanız gerekir:

  1. Karakterinizin Animasyon Blueprint'ini bulun veya oluşturun
  2. standart eklenti kurulum kılavuzunda belgelendiği gibi aynı adımları izleyerek ses işleme ve harmanlamayı ayarlayın
  3. Blend Runtime MetaHuman Lip Sync düğümünde, varsayılan MetaHuman poz varlığı yerine kendi özel Poz Varlığınızı seçin

Selecting the custom pose asset

Vücut animasyonlarıyla birleştirme​

Vücut animasyonlarıyla birlikte dudak senkronizasyonu yapmak istiyorsanız:

  1. standart eklenti kılavuzunda belgelenen adımların aynısını izleyin
  2. MetaHuman kemik adlarını kullanmak yerine, karakterinizin boyun iskeleti için doğru kemik adlarını sağladığınızdan emin olun

Sonuçlar​

Bu kurulumu kullanan özel karakter örnekleri şunlardır:

Example 1: Lip sync with custom character

Example 2: Lip sync with different viseme system

Example 3: Lip sync with different viseme system

Dudak senkronizasyonunun kalitesi büyük ölçüde belirli karaktere ve onun visemelerinin ne kadar iyi ayarlandığına bağlıdır. Yukarıdaki örnekler, eklentinin farklı viseme sistemlerine sahip çeşitli özel karakter türleriyle çalıştığını göstermektedir.