Ana içeriğe geç

Eklentiyi özel karakterlerle kullanma

Bu kılavuz, Runtime MetaHuman Lip Sync'i MetaHuman olmayan karakterler için kurma sürecinde size rehberlik eder. Bu süreç, animasyon kavramları ve rigging konularına aşinalık gerektirir. Belirli karakteriniz için bunu uygulamada yardıma ihtiyacınız varsa, [email protected] adresinden profesyonel destek alabilirsiniz.

Dudak senkronizasyonu modelleri hakkında önemli not​

Özel Karakter Uyumluluğu

Özel karakterler yalnızca Standart (Daha Hızlı) model ile desteklenir.

Gerçekçi (Daha Yüksek Kalite) model yalnızca MetaHuman karakterleri için tasarlanmıştır ve özel karakterlerle kullanılamaz. Bu kılavuz boyunca, ana kurulum kılavuzundan bahsedildiğinde Standart model talimatlarını takip etmelisiniz.

Gerekli Eklenti Eklentisi: Standart Modeli özel karakterlerle kullanmak için, ana kurulum kılavuzunun Önkoşullar bölümünde açıklandığı gibi Standart Lip Sync Extension eklentisini kurmalısınız.

Bu uzantı, bu kılavuzda açıklanan tüm özel karakter uygulamaları için gereklidir.

Önkoşullar​

Başlamadan önce, karakterinizin bu gereksinimleri karşıladığından emin olun:

  • Geçerli bir iskelete sahip olmalı
  • Yüz ifadeleri için morf hedefleri (blend shapes) içermeli
  • Tercihen 10+ vizem tanımlayan morf hedefine sahip olmalı (daha fazla vizem = daha iyi dudak senkronizasyonu kalitesi)

Eklenti, karakterinizin morf hedeflerini aşağıdaki standart vizemlere eşlemenizi gerektirir:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Not: Karakterinizin farklı bir visem setine sahip olması durumunda (ki bu muhtemeldir), her bir visem için tam eşleşmelere ihtiyacınız yoktur. Yaklaşık eşlemeler genellikle yeterlidir - örneğin, karakterinizin SH visemini eklentinin CH visemine eşlemek, bunlar yakından ilişkili postalveolar sesler olduğu için etkili bir şekilde çalışacaktır.

Visem eşleme referansı​

İşte yaygın visem sistemleri ile eklentinin gerektirdiği visemler arasındaki eşlemeler:

ARKit, yüz animasyonu için kapsamlı bir blendshape seti sağlar ve bu set birkaç ağız şeklini içerir. Bunları RuntimeMetaHumanLipSync visemlerine nasıl eşleyeceğiniz aşağıda açıklanmıştır:

RuntimeMetaHumanLipSync VisemeARKit EşdeğeriNotlar
SilmouthCloseNötr/dinlenme pozisyonu
PPmouthPressLeft + mouthPressRightİki dudaklı sesler için her iki press şeklini birlikte kullanın
FFlowerLipBiteLeft + lowerLipBiteRight (veya mouthRollLower)Alt dudak üst dişlere değer, "f" ve "v" seslerinde olduğu gibi
THtongueOutARKit doğrudan dil kontrolüne sahiptir
DDjawOpen (hafif) + tongueUp (dil rig'iniz varsa)Dil alveolar çıkıntıya değer; hafif çene düşüşü
KKmouthLeft veya mouthRight (hafif)Hafif ağız köşesi çekmesi, velar sesleri yaklaşık olarak temsil eder
CHjawOpen (hafif) + mouthFunnel (hafif)Postalveolar sesler için birleştirin
SSmouthFrownSibilantlar için hafif bir kaş çatma kullanın
NNjawOpen (çok hafif) + mouthCloseNeredeyse kapalı ağız ile hafif çene açıklığı
RRmouthPucker (hafif)R-sesleri için hafif yuvarlama
AAjawOpen + mouthStretchLeft + mouthStretchRight (veya jawOpen + mouthOpen)"Ah" sesi için geniş açık ağız
EjawOpen (hafif) + mouthSmileOrta açık pozisyon ile hafif gülümseme
IHmouthSmile (hafif)Dudakların hafif yayılması
OHmouthFunnelYuvarlak açık şekil
OUmouthPuckerSıkıca yuvarlak dudaklar

Özel bir Pose Asset oluşturma​

Blend Runtime MetaHuman Lip Sync düğümü ile kullanılacak karakteriniz için özel bir pose asset oluşturmak üzere şu adımları izleyin:

1. Karakterinizin Skeletal Mesh'ini bulun​

Lip sync animasyonu için kullanmak istediğiniz morph target'ları (blend shape'ler) içeren skeletal mesh'i bulun. Bu, karakter tasarımınıza bağlı olarak tam vücutlu bir mesh veya sadece bir yüz mesh'i olabilir.

2. Morph Target'ları ve Eğrileri Doğrulayın​

İlerlemeden önce, skeletal mesh'inizin lip sync animasyonu için uygun morph target'lara ve karşılık gelen eğrilere sahip olduğunu kontrol edin.

Morph Target'ları Kontrol Edin: Skeletal mesh'inizin lip sync animasyonu için viseme olarak kullanılabilecek morph target'lar (blend shape'ler) içerdiğini doğrulayın. Yüz animasyonu desteği olan çoğu karakterin bazı fonem/viseme morph target'ları olmalıdır. Bir karakterde morf hedefleri örneği

Önemli: Curves Sekmesini Doğrulayın Bu adım, özellikle Blender veya diğer harici yazılımlardan dışa aktarılan karakterler için çok önemlidir:

  1. Skeletal Mesh düzenleyicide Curves sekmesini açın
  2. Morf hedeflerinize karşılık gelen eğrileri görüp görmediğinizi kontrol edin
  3. Curves sekmesi boşsa ancak morf hedefleri mevcutsa, morf hedeflerinizle tamamen aynı isimleri kullanarak yeni eğrileri manuel olarak ekleyin

Not: Bu sorun genellikle, morf hedefleri başarıyla içe aktarıldığı ancak animasyon eğrilerinin otomatik olarak oluşturulmadığı Blender dışa aktarımlarında meydana gelir. Eşleşen eğriler olmadan, Control Rig'e pişirdikten sonra animasyon düzgün şekilde doldurulmaz.

Alternatif Çözüm: Bu sorunu Blender'dan dışa aktarım sırasında önlemek için, FBX dışa aktarma ayarlarınızda Custom Properties ve Animation seçeneklerini etkinleştirmeyi deneyin; bu, morf hedeflerinin yanı sıra animasyon eğrilerini de dahil etmeye yardımcı olabilir.

3. Bir Referans Pose Animasyonu Oluşturun​

  1. Create Asset -> Create Animation -> Reference Pose yolunu izleyin
  2. Animasyon dizisi için açıklayıcı bir isim girin ve uygun bir konuma kaydedin
  3. Oluşturulan Animation Sequence otomatik olarak açılacak ve döngü halinde oynayan boş bir animasyon gösterecektir

Bir referans pose varlığı oluşturma Referans pose varlığını isimlendirme

  1. Daha kolay düzenleme için animasyon oynatımını durdurmak üzere Pause butonuna tıklayın

Animasyon oynatımını duraklatma

4. Animation Sequence'ı Düzenleyin​

  1. Edit in Sequencer -> Edit with FK Control Rig seçeneğine tıklayın
  2. Bake to Control Rig iletişim kutusunda, herhangi bir ayarı değiştirmeden Bake to Control Rig butonuna tıklayın

FK Control Rig ile düzenleme Control Rig'e pişirme

  1. Düzenleyici, Sequencer sekmesi açık olarak Animation Mode'a geçecektir
  2. View Range End Time değerini 0016 olarak ayarlayın (bu, Working Range End değerini de otomatik olarak 0016 olarak ayarlayacaktır)
  3. Kaydırıcının sağ kenarını sequencer penceresinin sağ ucuna sürükleyin

5. Animasyon Eğrilerini Hazırlayın​

  1. Animasyon Sekansı varlığına geri dönün ve Eğriler listesindeki morf hedeflerini bulun (görünmüyorlarsa, Animasyon Sekansı varlığını kapatıp yeniden açın)
  2. Dudak senkronizasyonu için kullanmak istediğiniz visemler veya ağız hareketleriyle ilgili olmayan tüm morf hedeflerini kaldırın

6. Visem eşlemenizi planlayın​

Karakterinizin visemlerini eklentinin gerektirdiği sete eşleştirmek için bir eşleme planı oluşturun. Örneğin:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Not: Karakterinizin viseme setinin her gerekli viseme için tam eşleşmeleri olmadığında yinelenen eşlemelerin olması kabul edilebilir.

7. Her bir viseme'i canlandırın​

  1. Her bir viseme için, ilgili morf hedef eğrilerini 0.0'dan 1.0'a canlandırın
  2. Her bir viseme animasyonunu farklı bir karede başlatın
  3. Doğal görünümlü viseme şekilleri oluşturmak için gerektiği gibi ek eğrileri yapılandırın (çene/ağız açılması, dil pozisyonu, vb.)

8. Bir Pose Varlığı Oluşturun​

  1. Varlık Oluştur -> Pose Varlığı -> Mevcut Animasyon yolunu izleyin
  2. Pose Varlığı için açıklayıcı bir isim girin ve uygun bir konuma kaydedin
  3. Oluşturulan Pose Varlığı otomatik olarak açılacak ve her biri bir viseme'ye karşılık gelen Pose_0, Pose_1 vb. pozları gösterecektir
  4. Viseme ağırlıklarını önizleyerek beklendiği gibi çalıştıklarından emin olun

Bir pose varlığı oluşturma Pose varlığını isimlendirme Visemelerle pose varlığı

9. Pose Varlığını Sonuçlandırın​

  1. Her bir pozu Önkoşullar bölümündeki viseme isimleriyle eşleşecek şekilde yeniden adlandırın
  2. Kullanılmayan tüm pozları silin

Ses işleme ve karıştırma kurulumu​

Poz varlığınız hazır olduğunda, ses işleme ve karıştırma düğümlerini kurmanız gerekir:

  1. Karakterinizin Animation Blueprint'ini bulun veya oluşturun
  2. Ses işleme ve karıştırmayı, standart eklenti kurulum kılavuzunda belgelenen adımlarla aynı şekilde kurun
  3. Blend Runtime MetaHuman Lip Sync düğümünde, varsayılan MetaHuman poz varlığı yerine özel Poz Varlığınızı seçin

Özel poz varlığının seçilmesi

Vücut animasyonlarıyla birleştirme​

Dudak senkronizasyonunu diğer vücut animasyonlarıyla birlikte gerçekleştirmek istiyorsanız:

  1. Standart eklenti kılavuzunda belgelenen adımlarla aynı şekilde ilerleyin
  2. MetaHuman kemik isimlerini kullanmak yerine, karakterinizin boyun iskeleti için doğru kemik isimlerini sağladığınızdan emin olun

Sonuçlar​

İşte bu kurulumu kullanan özel karakter örnekleri:

Örnek 1: Özel karakterle dudak senkronizasyonu

Örnek 2: Farklı visem sistemiyle dudak senkronizasyonu

Örnek 3: Farklı visem sistemiyle dudak senkronizasyonu

Dudak senkronizasyonunun kalitesi büyük ölçüde belirli karaktere ve visemlerinin ne kadar iyi kurulduğuna bağlıdır. Yukarıdaki örnekler, eklentinin farklı visem sistemlerine sahip farklı türdeki özel karakterlerle çalıştığını göstermektedir.