Özel karakterlerle eklenti nasıl kullanılır
Bu kılavuz, Runtime MetaHuman Lip Sync'i MetaHuman olmayan karakterler için kurma sürecinde size yol gösterir. Bu süreç, animasyon kavramları ve rigging hakkında bilgi sahibi olmanızı gerektirir. Belirli karakteriniz için bunun uygulanmasında yardıma ihtiyacınız olursa, [email protected] adresinden profesyonel destek alabilirsiniz.
Lip sync modelleri hakkında önemli not
Bu kılavuz, MetaHuman veya ARKit morph target adlandırma kurallarını kullanmayan özel karakterleri kapsar.
Eğer karakteriniz farklı bir morph target seti kullanıyorsa (ör. Daz Genesis, Reallusion CC3/CC4/CC5, Mixamo veya basitleştirilmiş özel bir rig), desteklenen seçenek Standard (Faster) model'dir ve aşağıdaki adımlar izlenir.
Uzantı Eklentisi Gerekli: Standart Model'i özel karakterlerle kullanmak için, ana kurulum kılavuzunun Ön Koşullar bölümünde açıklandığı gibi Standard Lip Sync Extension eklentisini kurmanız gerekir.
Bu uzantı, bu kılavuzda açıklanan tüm özel karakter uygulamaları için gereklidir.
Ön Koşullar
Başlamadan önce, karakterinizin şu gereksinimleri karşıladığından emin olun:
- Geçerli bir iskelete sahip
- Yüz ifadeleri için morf hedefleri (karışım şekilleri) içerir.
- İdeal olarak, visemleri tanımlayan 10'dan fazla morph target bulunmalıdır (daha fazla visem = daha iyi dudak senkronizasyonu kalitesi).
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
Not: Karakterinizin farklı bir visem seti varsa (ki bu olasıdır), her visem için birebir eşleşme gerekmez. Yaklaşık eşleşmeler genellikle yeterlidir - örneğin, karakterinizin SH visemini eklentinin CH visemine eşleştirmek, yakından ilişkili postalveolar sesler oldukları için etkili olacaktır.
Viseme eşleme referansı
Aşağıda, yaygın viseme sistemleri ile eklentinin gerektirdiği visemeler arasındaki eşleştirmeler yer almaktadır:
- Apple ARKit
- FACS Tabanlı Sistemler
- Preston Blair Sistemi
- 3ds Max Fonem Sistemi
- Özel Karakterler (Daz Genesis 8/9, Reallusion CC3/CC4/CC5, Mixamo)
ARKit, yüz animasyonu için çeşitli ağız şekilleri de dahil olmak üzere kapsamlı bir blendshape seti sağlar. Bunları RuntimeMetaHumanLipSync visemlerine şu şekilde eşleyebilirsiniz:
| RuntimeMetaHumanLipSync Viseme | ARKit Eşdeğeri | Notlar |
|---|---|---|
| Sil | mouthClose | Nötr/dinlenme konumu |
| PP | mouthPressLeft + mouthPressRight | Çift dudak sesleri için, her iki press şeklini birlikte kullanın. |
| FF | lowerLipBiteLeft + lowerLipBiteRight (or mouthRollLower) | Alt dudak üst dişlere temas eder, "f" ve "v" seslerinde olduğu gibi. |
| TH | tongueOut | ARKit doğrudan dil kontrolüne sahiptir. |
| DD | jawOpen (mild) + tongueUp (if you have tongue rig) | Dil, alveoler çıkıntıya temas eder; hafif bir çene düşüşü gerçekleşir. |
| KK | mouthLeft or mouthRight (mild) | Dudak köşelerinin hafifçe çekilmesi, art damak seslerine yaklaşık olarak karşılık gelir. |
| CH | jawOpen (mild) + mouthFunnel (mild) | Postalveolar sesler için birleştir. |
| SS | mouthFrown | Islıklı ünsüzler için hafif bir kaş çatma kullanın. |
| NN | jawOpen (very mild) + mouthClose | Neredeyse kapalı ağız ve hafif çene açıklığı |
| RR | mouthPucker (mild) | R sesleri için hafif yuvarlaklaştırma |
| AA | jawOpen + mouthStretchLeft + mouthStretchRight (veya jawOpen + mouthOpen) | "'ah' sesi için geniş açık ağız" |
| E | jawOpen (mild) + mouthSmile | Yarı açık pozisyon, hafif gülümsemeyle. |
| IH | mouthSmile (mild) | Dudakların hafifçe yayılması |
| OH | mouthFunnel | Yuvarlatılmış açık şekil |
| OU | mouthPucker | Sıkıca yuvarlatılmış dudaklar |
FACS (Yüz Eylem Kodlama Sistemi), yüz hareketlerini tanımlamak için Eylem Birimlerini (AU) kullanır. Birçok profesyonel animasyon sistemi, FACS tabanlı yaklaşımlar kullanır:
| RuntimeMetaHumanLipSync Visem | FACS Eylem Birimleri | Notlar |
|---|---|---|
| Sil | Nötr | Aktif AU yok. |
| PP | AU23 + AU24 | Dudak bastırıcı + dudak sıkılaştırıcı |
| FF | AU22 + AU28 | dudak hunileri + dudak emme |
| TH | AU25 (mild) + AU27 | Dudaklar ayrık + ağız gerginliği |
| DD | AU25 + AU16 | Dudaklar ayrık + alt dudak depresörü |
| KK | AU26 + AU14 | Çene düşürme + gamzeler |
| CH | AU18 + AU25 | Dudak büzme + dudaklar ayrık |
| SS | AU20 | Dudak gerdirici |
| NN | AU25 (very mild) | Dudaklar hafif aralık |
| RR | AU18 (mild) | Hafif dudak büzme |
| AA | AU27 + AU26 | Ağız germe + çene düşürme |
| E | AU25 + AU12 | Dudaklar ayrık + dudak köşesi çekme |
| IH | AU12 + AU25 (mild) | Dudak köşesi çekici + hafif ayrık dudaklar |
| OH | AU27 (mild) + AU18 | Hafif ağız germe + dudak büzme |
| OU | AU18 + AU26 (mild) | Dudak büzme + hafif çene düşmesi |
Preston Blair sistemi, ağız şekilleri için tanımlayıcı adlar kullanan klasik bir animasyon standardıdır:
| RuntimeMetaHumanLipSync Viseme | Preston Blair | Notlar |
|---|---|---|
| Sil | Rest | Nötr kapalı ağız pozisyonu |
| PP | MBP | Klasik "MBP" ağız şekli |
| FF | FV | Dişler alt dudağın üzerindeyken "FV" pozisyonu |
| TH | TH | Dil ön dişlere değer |
| DD | D/T/N | Bu ünsüzler için benzer pozisyon |
| KK | CKG | Sert ünsüz pozisyonu |
| CH | CH/J/SH | Bu sesler için hafif büzme |
| SS | S/Z | Dişlerin hafif açık olduğu pozisyon |
| NN | N/NG/L | D/T'ye benzer ancak dil pozisyonu farklıdır |
| RR | R | R sesi için yuvarlak dudaklar |
| AA | AI | Geniş açık ağız |
| E | EH | Orta açık ağız |
| IH | EE | Yayvan dudaklar |
| OH | OH | Yuvarlak orta açıklık |
| OU | OO | Sıkıca yuvarlatılmış dudaklar |
3ds Max, karakter stüdyosu için fonem tabanlı bir sistem kullanır:
| RuntimeMetaHumanLipSync Viseme | 3ds Max Fonem | Notlar |
|---|---|---|
| Sil | rest | Varsayılan ağız konumu |
| PP | p_b_m | Doğrudan karşılığı |
| FF | f_v | Birebir karşılık |
| TH | th | Doğrudan karşılığı |
| DD | t_d | Doğrudan eşdeğer |
| KK | k_g | Doğrudan eşdeğer. |
| CH | sh_zh_ch | Birleşik şekil |
| SS | s_z | Doğrudan eşdeğer |
| NN | n_l | Bu sesler için birleştirilmiş |
| RR | r | Doğrudan eşdeğer |
| AA | ah | Açık ünlü sesi |
| E | eh | Orta ünlü |
| IH | ee | Kapalı ön ünlü |
| OH | oh | Arka yuvarlak ünlü |
| OU | oo | Dar kalın ünlü |
Viseme veya ağız blend shape/morph target'larına sahip özel karakterler (Daz Genesis 8/9, Reallusion CC3/CC4/CC5, Mixamo, vb.) genellikle makul yaklaşımlarla eklentinin viseme sistemine eşlenebilir.
Özel Pose Asset Oluşturma
Karakteriniz için, Blend Runtime MetaHuman Lip Sync düğümüyle kullanılacak özel bir poz varlığı oluşturmak için şu adımları izleyin:
1. Karakterinizin İskelet Mesh'ini bulun.
Dudak senkronizasyonu animasyonu için kullanmak istediğiniz morf hedeflerini (karışım şekillerini) içeren iskelet ağını bulun. Bu, karakterinizin tasarımına bağlı olarak tam vücut ağı veya yalnızca bir yüz ağı olabilir.
2. Morph Hedeflerini ve Eğrileri Doğrulayın
Morph Target'ları Kontrol Edin:
Skeletal mesh'inizin, lip sync animasyonu için viseme olarak kullanılabilecek morph target'lar (blend shape'ler) içerdiğini doğrulayın. Yüz animasyonu desteğine sahip çoğu karakterde bir miktar phoneme/viseme morph target'ı bulunmalıdır.
Önemli: Eğriler Sekmesini Doğrulayın Bu adım özellikle Blender'dan veya diğer harici yazılımlardan aktarılan karakterler için çok önemlidir:
- Skeletal Mesh düzenleyicisinde Eğriler sekmesini açın
- Morph hedeflerinize karşılık gelen eğrileri görüp görmediğinizi kontrol edin
- Eğriler sekmesi boşsa ancak morph hedefleri mevcutsa, morph hedeflerinizle birebir aynı adları kullanarak elle yeni eğriler ekleyin.
Alternatif Çözüm: Bu sorunu Blender'dan dışa aktarma sırasında önlemek için FBX dışa aktarma ayarlarınızda Özel Özellikler ve Animasyon seçeneklerini etkinleştirmeyi deneyin; bu, animasyon eğrilerinin morf hedefleriyle birlikte dahil edilmesine yardımcı olabilir.
3. Referans Poz Animasyonu Oluşturun
Varlık Oluştur -> Animasyon Oluştur -> Referans Pozuseçeneğine gidin.- Animasyon sekansı için açıklayıcı bir ad girin ve uygun bir konuma kaydedin.
- Oluşturulan animasyon sekansı otomatik olarak açılır ve döngü içinde oynatılan boş bir animasyon gösterir.
Pausedüğmesine tıklayarak animasyon oynatmayı durdurun; böylece daha kolay düzenleyebilirsiniz.
4. Animasyon sekansını düzenleyin
Sequencer'da Düzenle->FK Control Rig ile Düzenleseçeneğine tıklayın.Bake to Control Rigiletişim kutusunda, hiçbir ayarı değiştirmedenBake to Control Rigdüğmesine tıklayın.
- Editör,
Sequencersekmesi açıkkenAnimation Modemoduna geçecektir. View Range End Timedeğerini 0016 olarak ayarlayın (bu,Working Range Enddeğerini de otomatik olarak 0016 yapacaktır).- Kaydırıcının sağ kenarını Sequencer penceresinin sağ ucuna sürükleyin.
5. Animasyon Eğrilerini Hazırlayın
- Animation Sequence varlığına geri dönün ve morf hedeflerini
Curveslistesinde bulun (görünmüyorlarsa Animation Sequence varlığını kapatıp yeniden açın) - Dudak senkronu için kullanmak istediğiniz visemler veya ağız hareketleriyle ilişkili olmayan morf hedeflerini kaldırın.
6. Viseme eşlemenizi planlayın.
Karakterinizin visemelerini eklentinin gerektirdiği kümeyle eşleştirmek için bir eşleme planı oluşturun. Örneğin:
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
Unutmayın ki karakterinizin viseme seti, gereken her viseme için birebir eşleşmeye sahip olmadığında tekrarlanan eşleştirmeler kabul edilebilir.
7. Her bir visemi canlandırın.
- Her viseme için ilgili morf hedefi eğrilerini 0.0'dan 1.0'a canlandırın.
- Her viseme animasyonunu farklı bir karede başlatın.
- Doğal görünümlü viseme şekilleri oluşturmak için gerektiği gibi ek eğriler yapılandırın (çene/ağız açıklığı, dil konumu vb.).
8. Pose Asset oluşturun
Varlık Oluştur->Poz Varlığı->Geçerli Animasyonyolunu izleyin.- Poz Varlığı için açıklayıcı bir ad girin ve uygun bir konuma kaydedin.
- Oluşturulan Poz Varlığı, her biri bir visemeye karşılık gelen
Pose_0,Pose_1vb. pozları göstererek otomatik olarak açılır. - Viseme ağırlıklarını önizleyerek beklendiği gibi çalıştıklarından emin olun.
- Her pozu, Ön Koşullar bölümündeki viseme adlarıyla eşleşecek şekilde yeniden adlandırın
- Kullanılmayan pozları silin
Ses işleme ve karıştırma kurulumu
Poz varlığınız hazır olduğunda, ses işleme ve harmanlama düğümlerini ayarlamanız gerekir:
- Karakterinizin Animation Blueprint'ini bulun veya oluşturun.
- Ses işleme ve harmanlamayı, standart eklenti kurulum rehberinde belgelendiği gibi aynı adımları izleyerek ayarlayın.
Blend Runtime MetaHuman Lip Syncdüğümünde, varsayılan MetaHuman poz varlığı yerine kendi özel poz varlığınızı seçin.
Vücut animasyonlarıyla birleştirme
Diğer vücut animasyonlarıyla birlikte dudak senkronizasyonu yapmak istiyorsanız:
- standart eklenti rehberinde belgelendiği gibi aynı adımları izleyin
- Karakterinizin boyun iskeleti için MetaHuman kemik adlarını kullanmak yerine doğru kemik adlarını sağladığınızdan emin olun.
Sonuçlar
Bu kurulumu kullanan özel karakter örnekleri:
Dudak senkronizasyonunun kalitesi büyük ölçüde belirli karaktere ve visemelerinin ne kadar iyi ayarlandığına bağlıdır. Yukarıdaki örnekler, eklentinin farklı viseme sistemlerine sahip çeşitli özel karakterlerle çalıştığını göstermektedir.