Eklentiyi özel karakterlerle kullanma

Bu kılavuz, Runtime MetaHuman Lip Sync'i MetaHuman olmayan karakterler için kurma sürecinde size rehberlik eder. Bu süreç, animasyon kavramları ve rigging konularına aşinalık gerektirir. Belirli karakteriniz için bunu uygulamada yardıma ihtiyacınız olursa, [email protected] adresinden profesyonel destek alabilirsiniz.

Lip Sync Modelleri Hakkında Önemli Not

Özel Karakter Uyumluluğu

Özel karakterler yalnızca Standart (Daha Hızlı) model ile desteklenir.

Gerçekçi (Daha Yüksek Kalite) model yalnızca MetaHuman karakterleri için tasarlanmıştır ve özel karakterlerle kullanılamaz. Bu kılavuz boyunca, ana kurulum kılavuzundan bahsedildiğinde Standart model talimatlarını takip etmelisiniz.

Gerekli Eklenti Eklentisi: Özel karakterlerle Standart Model'i kullanmak için, ana kurulum kılavuzunun Önkoşullar bölümünde açıklandığı gibi Standart Lip Sync Eklenti eklentisini kurmalısınız.

Bu eklenti, bu kılavuzda açıklanan tüm özel karakter uygulamaları için gereklidir.

Önkoşullar

Başlamadan önce, karakterinizin bu gereksinimleri karşıladığından emin olun:

• Geçerli bir iskelete sahip olmalı
• Yüz ifadeleri için morf hedefleri (blend shapes) içermeli
• Tercihen 10+ visem tanımlayan morf hedefine sahip olmalı (daha fazla visem = daha iyi lip sync kalitesi)

Eklenti, karakterinizin morf hedeflerini aşağıdaki standart visemlere eşlemenizi gerektirir:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Not: Karakterinizin farklı bir visem setine sahip olması durumunda (ki bu oldukça olasıdır), her bir visem için tam eşleşmeler gerekmez. Yaklaşık eşleşmeler genellikle yeterlidir - örneğin, karakterinizin SH visemini eklentinin CH visemine eşlemek, bunlar yakından ilişkili postalveolar sesler olduğu için etkili bir şekilde çalışacaktır.

Visem eşleme referansı

İşte yaygın visem sistemleri ile eklentinin gerektirdiği visemler arasındaki eşlemeler:

Apple ARKit

ARKit, yüz animasyonu için kapsamlı bir blendshape seti sağlar ve bu set birkaç ağız şeklini içerir. İşte bunları RuntimeMetaHumanLipSync visemlerine nasıl eşleyeceğiniz:

RuntimeMetaHumanLipSync Viseme	ARKit Eşdeğeri	Notlar
Sil	mouthClose	Nötr/dinlenme pozisyonu
PP	mouthPressLeft + mouthPressRight	İki dudaklı sesler için, her iki press şeklini birlikte kullanın
FF	lowerLipBiteLeft + lowerLipBiteRight (veya mouthRollLower)	Alt dudak üst dişlere temas eder, "f" ve "v" seslerinde olduğu gibi
TH	tongueOut	ARKit doğrudan dil kontrolüne sahiptir
DD	jawOpen (hafif) + tongueUp (dil rig'iniz varsa)	Dil alveolar çıkıntıya dokunur; hafif çene düşüşü
KK	mouthLeft veya mouthRight (hafif)	Hafif ağız köşesi çekimi velar sesleri yaklaştırır
CH	jawOpen (hafif) + mouthFunnel (hafif)	Postalveolar sesler için birleştirin
SS	mouthFrown	Sibilantlar için hafif bir kaş çatma kullanın
NN	jawOpen (çok hafif) + mouthClose	Neredeyse kapalı ağız ile hafif çene açıklığı
RR	mouthPucker (hafif)	R-sesleri için hafif yuvarlama
AA	jawOpen + mouthStretchLeft + mouthStretchRight (veya jawOpen + mouthOpen)	"Ah" sesi için geniş açık ağız
E	jawOpen (hafif) + mouthSmile	Orta açık pozisyon ile hafif gülümseme
IH	mouthSmile (hafif)	Dudakların hafif yayılması
OH	mouthFunnel	Yuvarlak açık şekil
OU	mouthPucker	Sıkıca yuvarlanmış dudaklar

FACS Tabanlı Sistemler

FACS (Yüz Hareket Kodlama Sistemi), yüz hareketlerini tanımlamak için Hareket Birimlerini (AUs) kullanır. Birçok profesyonel animasyon sistemi FACS tabanlı yaklaşımlar kullanır:

RuntimeMetaHumanLipSync Viseme	FACS Hareket Birimleri	Notlar
Sil	Nötr	Aktif AU yok
PP	AU23 + AU24	Dudak sıkıştırıcı + dudak gerdirici
FF	AU22 + AU28	Dudak hunisi + dudak emme
TH	AU25 (hafif) + AU27	Dudaklar ayrık + ağız germe
DD	AU25 + AU16	Dudaklar ayrık + alt dudak bastırıcı
KK	AU26 + AU14	Çene düşüşü + gamze yapıcı
CH	AU18 + AU25	Dudak büzücü + dudaklar ayrık
SS	AU20	Dudak gerdirici
NN	AU25 (çok hafif)	Hafif dudaklar ayrık
RR	AU18 (hafif)	Hafif dudak büzüşü
AA	AU27 + AU26	Ağız germe + çene düşüşü
E	AU25 + AU12	Dudaklar ayrık + dudak köşesi çekici
IH	AU12 + AU25 (hafif)	Dudak köşesi çekici + hafif dudaklar ayrık
OH	AU27 (hafif) + AU18	Hafif ağız germe + dudak büzücü
OU	AU18 + AU26 (hafif)	Dudak büzücü + hafif çene düşüşü

Preston Blair Sistemi

Preston Blair sistemi, ağız şekilleri için tanımlayıcı isimler kullanan klasik bir animasyon standardıdır:

RuntimeMetaHumanLipSync Viseme	Preston Blair	Notlar
Sil	Rest	Nötr kapalı ağız pozisyonu
PP	MBP	Klasik "MBP" ağız şekli
FF	FV	Alt dudakta dişlerin olduğu "FV" pozisyonu
TH	TH	Dilin ön dişlere değdiği pozisyon
DD	D/T/N	Bu ünsüzler için benzer pozisyon
KK	CKG	Sert ünsüz pozisyonu
CH	CH/J/SH	Bu sesler için hafif büzülmüş dudak
SS	S/Z	Hafif açık diş pozisyonu
NN	N/NG/L	D/T'ye benzer ancak farklı dil pozisyonu
RR	R	R sesi için yuvarlak dudaklar
AA	AI	Geniş açık ağız
E	EH	Orta açıklıkta ağız
IH	EE	Yayılmış dudaklar
OH	OH	Yuvarlak orta açıklık
OU	OO	Sıkıca yuvarlak dudaklar

3ds Max Fonem Sistemi

3ds Max, karakter stüdyosu için fonem tabanlı bir sistem kullanır:

RuntimeMetaHumanLipSync Viseme	3ds Max Fonem	Notlar
Sil	rest	Varsayılan ağız pozisyonu
PP	p_b_m	Doğrudan eşdeğer
FF	f_v	Doğrudan eşdeğer
TH	th	Doğrudan eşdeğer
DD	t_d	Doğrudan eşdeğer
KK	k_g	Doğrudan eşdeğer
CH	sh_zh_ch	Birleşik şekil
SS	s_z	Doğrudan eşdeğer
NN	n_l	Bu sesler için birleşik
RR	r	Doğrudan eşdeğer
AA	ah	Açık ünlü sesi
E	eh	Orta ünlü
IH	ee	Kapalı ön ünlü
OH	oh	Arkadan yuvarlak ünlü
OU	oo	Kapalı arka ünlü

Özel Karakterler (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)

Viseme veya ağız blend shape'leri/morph target'ları olan özel karakterler (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, vb.) genellikle eklentinin viseme sistemine makul yaklaşımlarla eşlenebilir.

Özel bir Pose Asset Oluşturma

Blend Runtime MetaHuman Lip Sync düğümü ile kullanılacak karakteriniz için özel bir pose asset oluşturmak üzere şu adımları izleyin:

1. Karakterinizin Skeletal Mesh'ini Bulun

Lip sync animasyonu için kullanmak istediğiniz morph target'ları (blend shape'ler) içeren skeletal mesh'i bulun. Bu, karakter tasarımınıza bağlı olarak tam vücutlu bir mesh veya sadece bir yüz mesh'i olabilir.

2. Morph Target'ları ve Eğrileri Doğrulayın

İlerlemeden önce, skeletal mesh'inizin lip sync animasyonu için uygun morph target'lara ve karşılık gelen eğrilere sahip olduğunu kontrol edin.

Morph Target'ları Kontrol Edin: Skeletal mesh'inizin lip sync animasyonu için viseme olarak kullanılabilecek morph target'lar (blend shape'ler) içerdiğini doğrulayın. Yüz animasyonu desteği olan çoğu karakterde bazı fonem/viseme morph target'ları bulunmalıdır.

Önemli: Curves Sekmesini Doğrulayın Bu adım, özellikle Blender veya diğer harici yazılımlardan dışa aktarılan karakterler için çok önemlidir:

1. Skeletal Mesh düzenleyicide Curves sekmesini açın
2. Morf hedeflerinize karşılık gelen eğrileri görüp görmediğinizi kontrol edin
3. Eğer Curves sekmesi boşsa ancak morf hedefleri mevcutsa, morf hedeflerinizle tam olarak aynı isimleri kullanarak yeni eğrileri manuel olarak ekleyin

Not: Bu sorun, genellikle morf hedefleri başarıyla içe aktarıldığı ancak animasyon eğrilerinin otomatik olarak oluşturulmadığı Blender dışa aktarımlarında yaygın olarak görülür. Eşleşen eğriler olmadan, Control Rig'e pişirme işleminden sonra animasyon düzgün şekilde doldurulmayacaktır.

Alternatif Çözüm: Blender'dan dışa aktarım sırasında bu sorunu önlemek için, FBX dışa aktarma ayarlarınızda Custom Properties ve Animation seçeneklerini etkinleştirmeyi deneyin; bu, animasyon eğrilerinin morf hedefleriyle birlikte dahil edilmesine yardımcı olabilir.

3. Bir Referans Pozu Animasyonu Oluşturun

1. Create Asset -> Create Animation -> Reference Pose yolunu izleyin
2. Animasyon dizisi için açıklayıcı bir isim girin ve uygun bir konuma kaydedin
3. Oluşturulan Animation Sequence otomatik olarak açılacak ve döngü halinde oynayan boş bir animasyon gösterecektir

4. Düzenlemeyi kolaylaştırmak için animasyon oynatımını durdurmak üzere Pause düğmesine tıklayın

4. Animation Sequence'i Düzenleyin

1. Edit in Sequencer -> Edit with FK Control Rig seçeneğine tıklayın
2. Bake to Control Rig iletişim kutusunda, herhangi bir ayarı değiştirmeden Bake to Control Rig düğmesine tıklayın

3. Düzenleyici, Sequencer sekmesi açık olarak Animation Mode'a geçecektir
4. View Range End Time değerini 0016 olarak ayarlayın (bu, Working Range End değerini de otomatik olarak 0016 olarak ayarlayacaktır)
5. Kaydırıcının sağ kenarını sequencer penceresinin sağ ucuna sürükleyin

5. Animasyon Eğrilerini Hazırlayın

1. Animasyon Sekansı varlığına geri dönün ve Eğriler listesindeki morf hedeflerini bulun (görünmüyorlarsa, Animasyon Sekansı varlığını kapatıp yeniden açın)
2. Dudak senkronizasyonu için kullanmak istediğiniz visemler veya ağız hareketleriyle ilgili olmayan tüm morf hedeflerini kaldırın

6. Viseme eşlemenizi planlayın

Karakterinizin visemlerini eklentinin gerektirdiği sete eşleştirmek için bir plan oluşturun. Örneğin:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Not: Karakterinizin viseme setinin her gerekli viseme için tam eşleşmeleri olmadığında yinelenen eşlemelerin olması kabul edilebilir.

7. Her bir visemeyi canlandırın

1. Her bir viseme için, ilgili morf hedef eğrilerini 0.0'dan 1.0'a canlandırın
2. Her bir viseme animasyonunu farklı bir karede başlatın
3. Doğal görünümlü viseme şekilleri oluşturmak için gerektiği gibi ek eğriler yapılandırın (çene/ağız açma, dil pozisyonu, vb.)

8. Bir Pose Varlığı Oluşturun

1. Varlık Oluştur -> Pose Varlığı -> Mevcut Animasyon'a gidin
2. Pose Varlığı için açıklayıcı bir isim girin ve uygun bir konuma kaydedin
3. Oluşturulan Pose Varlığı otomatik olarak açılacak ve her biri bir viseme'e karşılık gelen Pose_0, Pose_1 vb. pozları gösterecektir
4. Viseme ağırlıklarını beklenildiği gibi çalıştıklarından emin olmak için önizleyin

9. Pose Varlığını Sonuçlandırın

1. Her bir pozu Önkoşullar bölümündeki viseme isimleriyle eşleşecek şekilde yeniden adlandırın
2. Kullanılmayan tüm pozları silin

Ses işleme ve karıştırma ayarları

Pose varlığınız hazır olduğunda, ses işleme ve karıştırma düğümlerini ayarlamanız gerekir:

1. Karakterinizin Animation Blueprint'ini bulun veya oluşturun
2. Ses işleme ve karıştırmayı, standart eklenti kurulum kılavuzunda belgelenen aynı adımları izleyerek ayarlayın
3. Blend Runtime MetaHuman Lip Sync düğümünde, varsayılan MetaHuman pose varlığı yerine özel Pose Varlığınızı seçin

Vücut animasyonları ile birleştirme

Lip sync'i diğer vücut animasyonları ile birlikte gerçekleştirmek istiyorsanız:

1. Standart eklenti kılavuzunda belgelenen aynı adımları izleyin
2. MetaHuman kemik isimlerini kullanmak yerine, karakterinizin boyun iskeleti için doğru kemik isimlerini sağladığınızdan emin olun

Sonuçlar

İşte bu kurulumu kullanan özel karakter örnekleri:

Lip sync kalitesi büyük ölçüde belirli karaktere ve visemelerinin ne kadar iyi ayarlandığına bağlıdır. Yukarıdaki örnekler, eklentinin farklı viseme sistemlerine sahip özel karakter türleriyle çalıştığını göstermektedir.