Ana içeriğe geç

Eklentiyi özel karakterlerle nasıl kullanırsınız

Bu kılavuz, Runtime MetaHuman Lip Sync'i MetaHuman olmayan karakterler için kurma sürecinde size yol gösterir. Bu süreç, animasyon kavramları ve rigging konusunda aşinalık gerektirir. Bunu belirli karakteriniz için uygulamada yardıma ihtiyacınız olursa, [email protected] adresinden profesyonel destek için iletişime geçebilirsiniz.

Dudak senkronizasyonu modelleri hakkında önemli not​

Özel Karakter Uyumluluğu

Özel karakterler yalnızca Standart (Daha Hızlı) model ile desteklenir.

Gerçekçi (Daha Yüksek Kalite) model, MetaHuman ve ARKit karakterleri için tasarlanmıştır ve diğer özel karakterlerle kullanılamaz. Bu kılavuz boyunca, ana kurulum kılavuzundan bahsedildiğinde Standart model talimatlarını takip etmelisiniz.

Gerekli Eklenti Eklentisi: Standart Model'i özel karakterlerle kullanmak için, ana kurulum kılavuzunun Önkoşullar bölümünde açıklandığı gibi Standard Lip Sync Extension eklentisini kurmalısınız.

Bu eklenti, bu kılavuzda açıklanan tüm özel karakter uygulamaları için gereklidir.

Önkoşullar​

Başlamadan önce, karakterinizin bu gereksinimleri karşıladığından emin olun:

  • Geçerli bir iskelete sahip olmalı
  • Yüz ifadeleri için morf hedefleri (blend shape'ler) içermeli
  • Tercihen 10+ viseme tanımlayan morf hedefi olmalı (daha fazla viseme = daha iyi dudak senkronizasyonu kalitesi)

Eklenti, karakterinizin morf hedeflerini aşağıdaki standart visemelere eşlemenizi gerektirir:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Not: Karakterinizin farklı bir viseme seti varsa (ki bu muhtemeldir), her bir viseme için tam eşleşmelere ihtiyacınız yoktur. Yaklaşıklıklar genellikle yeterlidir - örneğin, karakterinizin SH visemesini eklentinin CH visemesine eşlemek, bunlar yakından ilişkili postalveolar sesler olduğu için etkili bir şekilde çalışacaktır.

Viseme eşleme referansı​

İşte yaygın viseme sistemleri ile eklentinin gerektirdiği visemeler arasındaki eşlemeler:

ARKit, yüz animasyonu için kapsamlı bir blendshape seti sağlar, bu set birkaç ağız şeklini içerir. İşte bunların RuntimeMetaHumanLipSync visemelerine nasıl eşleneceği:

RuntimeMetaHumanLipSync VisemeARKit EşdeğeriNotlar
SilmouthCloseNötr/dinlenme pozisyonu
PPmouthPressLeft + mouthPressRightDudaksıl sesler için, her iki press şeklini birlikte kullanın
FFlowerLipBiteLeft + lowerLipBiteRight (veya mouthRollLower)Alt dudak üst dişlere temas eder, "f" ve "v" seslerinde olduğu gibi
THtongueOutARKit doğrudan dil kontrolüne sahiptir
DDjawOpen (hafif) + tongueUp (dil rig'iniz varsa)Dil alveolar çıkıntıya dokunur; hafif çene açılması
KKmouthLeft veya mouthRight (hafif)Hafif ağız köşesi çekmesi, artdamaksıl sesleri yaklaşık olarak temsil eder
CHjawOpen (hafif) + mouthFunnel (hafif)Postalveolar sesler için birleştirin
SSmouthFrownSibilantlar için hafif bir kaş çatma kullanın
NNjawOpen (çok hafif) + mouthCloseNeredeyse kapalı ağız ile hafif çene açılması
RRmouthPucker (hafif)R-sesleri için hafif yuvarlama
AAjawOpen + mouthStretchLeft + mouthStretchRight (veya jawOpen + mouthOpen)"ah" sesi için geniş açık ağız
EjawOpen (hafif) + mouthSmileOrta açık pozisyon ile hafif gülümseme
IHmouthSmile (hafif)Dudakların hafif yayılması
OHmouthFunnelYuvarlak açık şekil
OUmouthPuckerSıkıca yuvarlanmış dudaklar

Özel bir Pose Asset oluşturma​

Karakterinizle Blend Runtime MetaHuman Lip Sync düğümüyle kullanılacak özel bir pose asset oluşturmak için şu adımları izleyin:

1. Karakterinizin Skeletal Mesh'ini bulun​

Lip sync animasyonu için kullanmak istediğiniz morph target'ları (blend shape'ler) içeren skeletal mesh'i bulun. Bu, karakterinizin tasarımına bağlı olarak tam vücutlu bir mesh veya sadece bir yüz mesh'i olabilir.

2. Morph Target'ları ve Eğrileri Doğrulayın​

Devam etmeden önce, skeletal mesh'inizin lip sync animasyonu için uygun morph target'lara ve karşılık gelen eğrilere sahip olduğunu kontrol edin.

Morph Target'ları Kontrol Edin: Skeletal mesh'inizin lip sync animasyonu için viseme olarak kullanılabilecek morph target'lar (blend shape'ler) içerdiğini doğrulayın. Yüz animasyonu desteği olan çoğu karakterin bazı fonem/viseme morph target'ları olmalıdır.

Bir karakterde morph target örneği

Önemli: Eğriler Sekmesini Doğrulayın Bu adım, özellikle Blender veya diğer harici yazılımlardan aktarılan karakterler için çok önemlidir:

  1. Skeletal Mesh düzenleyicisinde Eğriler sekmesini açın
  2. Morph target'larınıza karşılık gelen eğrileri görüp görmediğinizi kontrol edin
  3. Eğriler sekmesi boşsa ancak morph target'lar mevcutsa, morph target'larınızla tamamen aynı isimleri kullanarak manuel olarak yeni eğriler ekleyin

Not: Bu sorun, morph target'lar başarıyla içe aktarıldığı ancak animasyon eğrilerinin otomatik olarak oluşturulmadığı Blender aktarımlarında yaygın olarak görülür. Eşleşen eğriler olmadan, Control Rig'e bake edildikten sonra animasyon düzgün şekilde doldurulmayacaktır.

Alternatif Çözüm: Bu sorunu Blender'dan aktarım sırasında önlemek için, FBX aktarım ayarlarınızda Özel Özellikler ve Animasyon seçeneklerini etkinleştirmeyi deneyin, bu morph target'ların yanı sıra animasyon eğrilerini de dahil etmeye yardımcı olabilir.

3. Bir Referans Pose Animasyonu Oluşturun​

  1. Create Asset -> Create Animation -> Reference Pose yolunu izleyin
  2. Animasyon dizisi için açıklayıcı bir isim girin ve uygun bir konuma kaydedin
  3. Oluşturulan Animation Sequence otomatik olarak açılacak ve döngü halinde oynayan boş bir animasyon gösterecektir

Referans pose asset oluşturma Referans pose asset isimlendirme

  1. Daha kolay düzenleme için animasyon oynatımını durdurmak üzere Pause düğmesine tıklayın

Animasyon oynatımını duraklatma

4. Animation Sequence'yi Düzenleyin​

  1. Edit in Sequencer -> Edit with FK Control Rig seçeneğine tıklayın
  2. Bake to Control Rig iletişim kutusunda, herhangi bir ayarı değiştirmeden Bake to Control Rig düğmesine tıklayın

FK Control Rig ile düzenleme Control Rig'e bake etme

  1. Düzenleyici, Sequencer sekmesi açık olarak Animation Mode'a geçecektir
  2. View Range End Time değerini 0016 olarak ayarlayın (bu otomatik olarak Working Range End değerini de 0016 yapacaktır)
  3. Kaydırıcının sağ kenarını sequencer penceresinin sağ ucuna sürükleyin

5. Animasyon Eğrilerini Hazırlayın​

  1. Animasyon Sekansı varlığına geri dönün ve Curves listesindeki morf hedeflerini bulun (görünmüyorlarsa, Animasyon Sekansı varlığını kapatıp yeniden açın)
  2. Dudak senkronizasyonu için kullanmak istediğiniz visemler veya ağız hareketleriyle ilgili olmayan tüm morf hedeflerini kaldırın

6. Plan your viseme mapping​

Karakterinizin visemlerini eklentinin gerektirdiği sete eşleştirmek için bir haritalama planı oluşturun. Örneğin:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Not: Karakterinizin viseme setinin her gerekli viseme için tam eşleşmeleri olmadığında, tekrarlanan eşlemelerin olması kabul edilebilir.

7. Her bir visemeyi canlandırın​

  1. Her bir viseme için, ilgili morf hedef eğrilerini 0.0'dan 1.0'a canlandırın
  2. Her bir viseme animasyonunu farklı bir karede başlatın
  3. Doğal görünümlü viseme şekilleri oluşturmak için gerektiği gibi ek eğrileri (çene/ağız açma, dil pozisyonu vb.) yapılandırın

8. Bir Pose Varlığı Oluşturun​

  1. Varlık Oluştur -> Pose Varlığı -> Mevcut Animasyon yolunu izleyin
  2. Pose Varlığı için açıklayıcı bir isim girin ve uygun bir konuma kaydedin
  3. Oluşturulan Pose Varlığı otomatik olarak açılacak ve her biri bir viseme'e karşılık gelen Pose_0, Pose_1 vb. pozları gösterecektir
  4. Viseme ağırlıklarını önizleyerek beklendiği gibi çalıştıklarından emin olun

Bir pose varlığı oluşturma Pose varlığını adlandırma Visemelerle pose varlığı

9. Pose Varlığını Sonuçlandırın​

  1. Her bir pozu, Önkoşullar bölümündeki viseme isimleriyle eşleşecek şekilde yeniden adlandırın
  2. Kullanılmayan pozları silin

Ses işleme ve harmanlama kurulumu​

Poz varlığınız hazır olduğunda, ses işleme ve harmanlama düğümlerini kurmanız gerekir:

  1. Karakterinizin Animasyon Blueprint'ini bulun veya oluşturun
  2. Ses işleme ve harmanlamayı, standart eklenti kurulum kılavuzunda belgelenen aynı adımları izleyerek kurun
  3. Blend Runtime MetaHuman Lip Sync düğümünde, varsayılan MetaHuman poz varlığı yerine özel Poz Varlığınızı seçin

Özel poz varlığının seçilmesi

Vücut animasyonlarıyla birleştirme​

Dudak senkronizasyonunu diğer vücut animasyonlarıyla birlikte gerçekleştirmek istiyorsanız:

  1. Standart eklenti kılavuzunda belgelenen aynı adımları izleyin
  2. MetaHuman kemik isimlerini kullanmak yerine, karakterinizin boyun iskeleti için doğru kemik isimlerini sağladığınızdan emin olun

Sonuçlar​

İşte bu kurulumu kullanan özel karakter örnekleri:

Örnek 1: Özel karakterle dudak senkronizasyonu

Örnek 2: Farklı visem sistemiyle dudak senkronizasyonu

Örnek 3: Farklı visem sistemiyle dudak senkronizasyonu

Dudak senkronizasyonunun kalitesi büyük ölçüde belirli karaktere ve visemlerinin ne kadar iyi kurulduğuna bağlıdır. Yukarıdaki örnekler, eklentinin farklı visem sistemlerine sahip farklı türdeki özel karakterlerle çalıştığını göstermektedir.