كيفية استخدام الإضافة مع الشخصيات المخصصة

يأخذك هذا الدليل خلال عملية إعداد Runtime MetaHuman Lip Sync للشخصيات غير MetaHuman. تتطلب هذه العملية الإلمام بمفاهيم التحريك والريغينغ. إذا كنت بحاجة إلى مساعدة في تنفيذ هذا لشخصيتك المحددة، يمكنك التواصل للحصول على دعم احترافي على [email protected].

ملاحظة هامة حول نماذج مزامنة الشفاه

التوافق مع الشخصيات المخصصة

يتم دعم الشخصيات المخصصة فقط مع النموذج القياسي (الأسرع).

تم تصميم النموذج الواقعي (ذو الجودة الأعلى) حصريًا لشخصيات MetaHuman ولا يمكن استخدامه مع الشخصيات المخصصة. طوال هذا الدليل، يجب عليك اتباع تعليمات النموذج القياسي من دليل الإعداد الرئيسي عند الإشارة إليها.

إضافة البرنامج المساعد المطلوبة: لاستخدام النموذج القياسي مع الشخصيات المخصصة، يجب عليك تثبيت إضافة امتداد مزامنة الشفاه القياسية كما هو موضح في قسم المتطلبات الأساسية من دليل الإعداد الرئيسي.

هذا الامتداد مطلوب لجميع تطبيقات الشخصيات المخصصة الموضحة في هذا الدليل.

المتطلبات الأساسية

قبل البدء، تأكد من أن شخصيتك تستوفي هذه المتطلبات:

• تمتلك هيكل عظمي صالح
• تحتوي على أهداف التشكل (blend shapes) لتعبيرات الوجه
• من الناحية المثالية، تمتلك 10+ أهداف تشكل تحدد visemes (كلما زادت visemes، كانت جودة مزامنة الشفاه أفضل)

تتطلب الإضافة تعيين أهداف التشكل لشخصيتك إلى visemes القياسية التالية:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

ملاحظة: إذا كان لشخصيتك مجموعة مختلفة من الفيزيمات (وهو أمر محتمل)، فلست بحاجة إلى تطابق دقيق لكل فيزيم. غالبًا ما تكون التقريبات كافية - على سبيل المثال، تعيين فيزيم SH لشخصيتك إلى فيزيم CH الخاص بالإضافة سيعمل بفعالية نظرًا لأنهما صوتان حلقيان لثويان متقاربان.

مرجع تعيين الفيزيمات

فيما يلي تعيينات بين أنظمة الفيزيمات الشائعة والفيزيمات المطلوبة للإضافة:

Apple ARKit

يوفر ARKit مجموعة شاملة من أشكال الوجه المدمجة للرسوم المتحركة للوجه، بما في ذلك عدة أشكال للفم. إليك كيفية تعيينها إلى فيزيمات RuntimeMetaHumanLipSync:

فيزيم RuntimeMetaHumanLipSync	المكافئ في ARKit	ملاحظات
Sil	mouthClose	الوضع المحايد/الراحة
PP	mouthPressLeft + mouthPressRight	للأصوات الشفوية الثنائية، استخدم كلا شكلي الضغط معًا
FF	lowerLipBiteLeft + lowerLipBiteRight (أو mouthRollLower)	الشفة السفلية تلامس الأسنان العلوية، كما في صوتي "f" و "v"
TH	tongueOut	لدى ARKit تحكم مباشر في اللسان
DD	jawOpen (خفيف) + tongueUp (إذا كان لديك هيكل للسان)	اللسان يلامس الحافة السنخية؛ انخفاض طفيف في الفك
KK	mouthLeft أو mouthRight (خفيف)	سحب زاوية الفم بشكل طفيف يقارب الأصوات اللهوية
CH	jawOpen (خفيف) + mouthFunnel (خفيف)	اجمع بينهما للأصوات الحلقية اللثوية
SS	mouthFrown	استخدم عبوسًا طفيفًا للأصوات الصفيرية
NN	jawOpen (خفيف جدًا) + mouthClose	فم شبه مغلق مع فتح طفيف للفك
RR	mouthPucker (خفيف)	تدوير طفيف لأصوات الـ r
AA	jawOpen + mouthStretchLeft + mouthStretchRight (أو jawOpen + mouthOpen)	فم مفتوح على مصراعيه لصوت "ah"
E	jawOpen (خفيف) + mouthSmile	وضع متوسط الانفتاح مع ابتسامة طفيفة
IH	mouthSmile (خفيف)	انتشار طفيف للشفاه
OH	mouthFunnel	شكل دائري مفتوح
OU	mouthPucker	شفاه مدورة بإحكام

FACS-Based Systems

يستخدم FACS (نظام ترميز حركة الوجه) وحدات الحركة (AUs) لوصف حركات الوجه. تستخدم العديد من أنظمة الرسوم المتحركة الاحترافية منهجيات قائمة على FACS:

فيزيم RuntimeMetaHumanLipSync	وحدات الحركة في FACS	ملاحظات
Sil	Neutral	لا توجد وحدات حركة نشطة
PP	AU23 + AU24	ضاغط الشفاه + مشدد الشفاه
FF	AU22 + AU28	قمع الشفاه + مص الشفاه
TH	AU25 (خفيف) + AU27	شفاه منفصلة + تمدد الفم
DD	AU25 + AU16	شفاه منفصلة + خافض الشفة السفلية
KK	AU26 + AU14	هبوط الفك + مكون النقرة
CH	AU18 + AU25	تجعيد الشفاه + شفاه منفصلة
SS	AU20	ممدد الشفاه
NN	AU25 (خفيف جدًا)	شفاه منفصلة طفيف
RR	AU18 (خفيف)	تجعيد شفاه خفيف
AA	AU27 + AU26	تمدد الفم + هبوط الفك
E	AU25 + AU12	شفاه منفصلة + ساحب زاوية الشفة
IH	AU12 + AU25 (خفيف)	ساحب زاوية الشفة + شفاه منفصلة طفيف
OH	AU27 (خفيف) + AU18	تمدد فم خفيف + تجعيد شفاه
OU	AU18 + AU26 (خفيف)	تجعيد شفاه + هبوط فك خفيف

نظام بريستون بلير

نظام بريستون بلير هو معيار كلاسيكي للرسوم المتحركة يستخدم أسماء وصفيّة لأشكال الفم:

RuntimeMetaHumanLipSync Viseme	بريستون بلير	ملاحظات
Sil	Rest	وضع الفم المغلق المحايد
PP	MBP	شكل الفم الكلاسيكي "MBP"
FF	FV	وضعية "FV" مع الأسنان على الشفة السفلية
TH	TH	لسان يلامس الأسنان الأمامية
DD	D/T/N	وضعية مشابهة لهذه الحروف الساكنة
KK	CKG	وضعية الحرف الساكن القاسي
CH	CH/J/SH	انكماش طفيف للشفاه لهذه الأصوات
SS	S/Z	وضعية الأسنان المفتوحة قليلاً
NN	N/NG/L	مشابه لـ D/T ولكن بوضعية لسان مختلفة
RR	R	شفاه مدوّرة لصوت R
AA	AI	فم مفتوح على مصراعيه
E	EH	فم مفتوح بشكل متوسط
IH	EE	شفاه مفرودة
OH	OH	فتحة متوسطة مدوّرة
OU	OO	شفاه مدوّرة بإحكام

نظام الفونيمات في 3ds Max

يستخدم 3ds Max نظامًا قائمًا على الفونيمات لاستوديو الشخصيات الخاص به:

RuntimeMetaHumanLipSync Viseme	فونيم 3ds Max	ملاحظات
Sil	rest	وضع الفم الافتراضي
PP	p_b_m	مكافئ مباشر
FF	f_v	مكافئ مباشر
TH	th	مكافئ مباشر
DD	t_d	مكافئ مباشر
KK	k_g	مكافئ مباشر
CH	sh_zh_ch	شكل مجتمع
SS	s_z	مكافئ مباشر
NN	n_l	مجتمع لهذه الأصوات
RR	r	مكافئ مباشر
AA	ah	صوت علة مفتوح
E	eh	علة متوسطة
IH	ee	علة أمامية مغلقة
OH	oh	علة خلفية مدوّرة
OU	oo	علة خلفية مغلقة

الشخصيات المخصصة (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)

يمكن عادةً تعيين الشخصيات المخصصة ذات أشكال المزج أو أهداف التشكل للفم (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe، إلخ) على نظام الفيزيمات في الإضافة بتقريبات معقولة.

إنشاء أصل وضعية مخصص

اتبع هذه الخطوات لإنشاء أصل وضعية مخصص لشخصيتك والذي سيتم استخدامه مع عقدة Blend Runtime MetaHuman Lip Sync:

1. حدد موقع الشبكة الهيكلية لشخصيتك

ابحث عن الشبكة الهيكلية التي تحتوي على أهداف التشكل (أشكال المزج) التي تريد استخدامها لرسوم متحركة لمزامنة الشفاه. قد تكون هذه شبكة كاملة للجسم أو مجرد شبكة للوجه، اعتمادًا على تصميم شخصيتك.

2. تحقق من أهداف التشكل والمنحنيات

قبل المتابعة، تحقق من أن شبكتك الهيكلية تحتوي على أهداف تشكل ومنحنيات مقابلة مناسبة للرسوم المتحركة لمزامنة الشفاه.

تحقق من أهداف التشكل: تحقق من أن شبكتك الهيكلية تحتوي على أهداف تشكل (أشكال مزج) يمكن استخدامها كفيزيمات للرسوم المتحركة لمزامنة الشفاه. يجب أن تحتوي معظم الشخصيات التي تدعم تحريك الوجه على بعض أهداف تشكل الفونيمات/الفيزيمات.

مهم: التحقق من علامة تبويب المنحنيات هذه الخطوة حاسمة بشكل خاص للشخصيات المُصدَّرة من Blender أو برامج خارجية أخرى:

1. افتح علامة التبويب Curves في محرر Skeletal Mesh
2. تحقق مما إذا كان بإمكانك رؤية منحنيات تتوافق مع أهداف التشكل الخاصة بك
3. إذا كانت علامة تبويب Curves فارغة ولكن أهداف التشكل موجودة، فأضف منحنيات جديدة يدويًا باستخدام نفس الأسماء تمامًا لأهداف التشكل الخاصة بك

ملاحظة: تحدث هذه المشكلة عادةً مع تصديرات Blender حيث تستورد أهداف التشكل بنجاح ولكن لا يتم إنشاء منحنيات الرسوم المتحركة تلقائيًا. بدون منحنيات مطابقة، لن تظهر الرسوم المتحركة بشكل صحيح بعد الخَبز إلى Control Rig.

حل بديل: لمنع هذه المشكلة أثناء التصدير من Blender، حاول تمكين Custom Properties و Animation في إعدادات تصدير FBX الخاصة بك، مما قد يساعد في تضمين منحنيات الرسوم المتحركة جنبًا إلى جنب مع أهداف التشكل.

3. إنشاء رسوم متحركة لوضعية مرجعية

1. انتقل إلى Create Asset -> Create Animation -> Reference Pose
2. أدخل اسمًا وصفيًا لتسلسل الرسوم المتحركة واحفظه في موقع مناسب
3. سيفتح تسلسل الرسوم المتحركة المُنشأ تلقائيًا، مع عرض رسوم متحركة فارغة تعمل في حلقة

4. انقر على زر Pause لإيقاف تشغيل الرسوم المتحركة لتسهيل التحرير

4. تحرير تسلسل الرسوم المتحركة

1. انقر على Edit in Sequencer -> Edit with FK Control Rig
2. في مربع حوار Bake to Control Rig، انقر على زر Bake to Control Rig دون تغيير أي إعدادات

3. سيتحول المحرر إلى Animation Mode مع فتح علامة التبويب Sequencer
4. عيّن View Range End Time إلى 0016 (مما سيضبط Working Range End تلقائيًا إلى 0016 أيضًا)
5. اسحب الحافة اليمنى للشريط المنزلق إلى الطرف الأيمن لنافذة المُسلسل

5. إعداد منحنيات الرسوم المتحركة

1. ارجع إلى أصل تسلسل الرسوم المتحركة وحدد أهداف التشكل في قائمة Curves (إذا لم تكن مرئية، أغلق وأعد فتح أصل تسلسل الرسوم المتحركة)
2. احذف أي أهداف تشكل غير مرتبطة بالوحدات الصوتية المرئية أو حركات الفم التي تريد استخدامها لمزامنة الشفاه

6. خطط لتعيين الفيسيمات الخاصة بك

أنشئ خطة تعيين لمطابقة الفيسيمات الخاصة بشخصيتك مع المجموعة المطلوبة من قبل الإضافة. على سبيل المثال:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

لاحظ أنه من المقبول وجود تعيينات متكررة عندما لا تحتوي مجموعة الفيزميات لشخصيتك على تطابقات دقيقة لكل فيزم مطلوب.

7. تحريك كل فيزم

1. لكل فيزم، قم بتحريك منحنيات هدف التشكل ذات الصلة من 0.0 إلى 1.0
2. ابدأ تحريك كل فيزم على إطار مختلف
3. قم بتكوين منحنيات إضافية حسب الحاجة (فتح الفك/الفم، وضعية اللسان، إلخ) لإنشاء أشكال فيزم طبيعية المظهر

8. إنشاء أصل وضعية

1. انتقل إلى Create Asset -> Pose Asset -> Current Animation
2. أدخل اسمًا وصفيًا لأصل الوضعية واحفظه في موقع مناسب
3. سيتم فتح أصل الوضعية المُنشأ تلقائيًا، مع عرض أوضاع مثل Pose_0، Pose_1، إلخ، كل منها يقابل فيسيمًا
4. قم بمعاينة أوزان الفيسيمات للتأكد من عملها كما هو متوقع

9. إنهاء أصل الوضعية

1. أعد تسمية كل وضعية لتطابق أسماء الفيسيمات من قسم المتطلبات الأساسية
2. احذف أي أوضاع غير مستخدمة

إعداد معالجة الصوت والمزج

بمجرد أن يصبح أصل الوضعية جاهزًا، تحتاج إلى إعداد عقد معالجة الصوت والمزج:

1. حدد موقع أو أنشئ مخطط الرسوم المتحركة لشخصيتك
2. قم بإعداد معالجة الصوت والمزج باتباع نفس الخطوات الموثقة في دليل إعداد البرنامج المساعد القياسي
3. في عقدة Blend Runtime MetaHuman Lip Sync، اختر أصل الوضعية المخصص الخاص بك بدلاً من أصل وضعية MetaHuman الافتراضي

الجمع مع رسوم الجسم المتحركة

إذا كنت تريد تنفيذ مزامنة الشفاه إلى جانب رسوم متحركة أخرى للجسم:

1. اتبع نفس الخطوات الموثقة في دليل البرنامج المساعد القياسي
2. تأكد من تقديم أسماء العظام الصحيحة لهيكل عنق شخصيتك بدلاً من استخدام أسماء عظام MetaHuman

النتائج

إليك أمثلة على الشخصيات المخصصة التي تستخدم هذا الإعداد:

تعتمد جودة مزامنة الشفاه إلى حد كبير على الشخصية المحددة ومدى جودة إعداد الفيسيمات الخاصة بها. توضح الأمثلة أعلاه عمل البرنامج المساعد مع أنواع مختلفة من الشخصيات المخصصة التي تمتلك أنظمة فيسيم مميزة.