كيفية استخدام الإضافة مع الشخصيات المخصصة

يوجهك هذا الدليل خلال عملية إعداد Runtime MetaHuman Lip Sync للشخصيات غير MetaHuman. تتطلب هذه العملية الإلمام بمفاهيم التحريك والهيكلة. إذا كنت بحاجة إلى مساعدة في تنفيذ هذا لشخصيتك المحددة، يمكنك التواصل للحصول على دعم احترافي على [email protected].

ملاحظة مهمة حول نماذج Lip Sync

⚠️ الشخصيات المخصصة مدعومة فقط مع النموذج القياسي (الأسرع).

تم تصميم النموذج الواقعي (جودة أعلى) حصريًا لشخصيات MetaHuman ولا يمكن استخدامه مع الشخصيات المخصصة. طوال هذا الدليل، يجب عليك اتباع تعليمات النموذج القياسي من دليل الإعداد الرئيسي عند الإشارة إليه.

المتطلبات الأساسية

قبل البدء، تأكد من أن شخصيتك تلبي هذه المتطلبات:

• تمتلك هيكل عظمي صالح
• تحتوي على أهداف تشكيل (blend shapes) لتعبيرات الوجه
• من الأفضل أن تحتوي على 10+ أهداف تشكيل تحدد visemes (كلما زادت visemes زادت جودة lip sync)

تتطلب الإضافة تعيين أهداف التشكيل لشخصيتك إلى visemes القياسية التالية:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

ملاحظة: إذا كان لشخصيتك مجموعة مختلفة من الفيسيمات (وهو أمر محتمل)، فلن تحتاج إلى تطابق دقيق لكل فيسيم. غالبًا ما تكون التقريبات كافية - على سبيل المثال، تعيين فيسيم SH لشخصيتك إلى فيسيم CH للإضافة سيعمل بشكل فعال نظرًا لأنها أصوات متشابهة من الناحية الصوتية.

مرجع تعيين الفيسيمات

فيما يلي تعيينات بين أنظمة الفيسيمات الشائعة والفيسيمات المطلوبة للإضافة:

Apple ARKit

يوفر ARKit مجموعة شاملة من أشكال الوجه للتحريك، بما في ذلك عدة أشكال للفم. إليك كيفية تعيينها إلى فيسيمات RuntimeMetaHumanLipSync:

فيسيم RuntimeMetaHumanLipSync	نظير ARKit	ملاحظات
Sil	mouthClose	الوضع المحايد/الراحة
PP	mouthPressLeft + mouthPressRight	لأصوات الشفاه المزدوجة، استخدم كلا الشكلين معًا
FF	lowerLipBiteLeft + lowerLipBiteRight	هذه تخلق تلامس الشفاه مع الأسنان لأصوات "f/v"
TH	tongueOut	لدى ARKit تحكم مباشر في اللسان
DD	jawOpen (خفيف) + tongueUp	اجمع بين فتح الفك الخفيف ووضع اللسان
KK	mouthLeft أو mouthRight (خفيف)	سحب زوايا الفم الخفيف يقارب الأصوات الحلقية
CH	jawOpen (خفيف) + mouthFunnel (خفيف)	اجمع لأصوات ما بعد الأسنانية
SS	mouthFrown	استخدم عبوسًا خفيفًا للأصوات الصفيرية
NN	jawOpen (خفيف جدًا) + mouthClose	فم شبه مغلق مع فتح خفيف للفك
RR	mouthPucker (خفيف)	تقريب خفيف لأصوات الراء
AA	jawOpen + mouthOpen	مجتمعة لأصوات العلة المفتوحة الواسعة
E	jawOpen (خفيف) + mouthSmile	وضع متوسط الانفتاح مع ابتسامة خفيفة
IH	mouthSmile (خفيف)	انتشار خفيف للشفاه
OH	mouthFunnel	شكل دائري مفتوح
OU	mouthPucker	شفاه مدورة بإحكام

أنظمة قائمة على FACS

يستخدم FACS (نظام ترميز حركات الوجه) وحدات الحركة (AUs) لوصف حركات الوجه. العديد من أنظمة التحريك المحترفة تستخدم منهجيات قائمة على FACS:

فيسيم RuntimeMetaHumanLipSync	وحدات حركة FACS	ملاحظات
Sil	محايد	لا توجد وحدات حركة نشطة
PP	AU23 + AU24	ضاغط الشفاه + مشد الشفاه
FF	AU22 + AU28	مشكل الشفاه + مص الشفاه
TH	AU25 (خفيف) + AU27	شفاه متباعدة + تمدد الفم
DD	AU25 + AU16	شفاه متباعدة + خافض الشفة السفلية
KK	AU26 + AU14	سقوط الفك + مكون النقرة
CH	AU18 + AU25	تجعيد الشفاه + شفاه متباعدة
SS	AU20	ممدد الشفاه
NN	AU25 (خفيف جدًا)	تباعد خفيف جدًا للشفاه
RR	AU18 (خفيف)	تجعيد خفيف للشفاه
AA	AU27 + AU26	تمدد الفم + سقوط الفك
E	AU25 + AU12	شفاه متباعدة + ساحب زاوية الشفة
IH	AU12 + AU25 (خفيف)	ساحب زاوية الشفة + تباعد خفيف للشفاه
OH	AU27 (خفيف) + AU18	تمدد خفيف للفم + تجعيد الشفاه
OU	AU18 + AU26 (خفيف)	تجعيد الشفاه + سقوط خفيف للفك

نظام Preston Blair

نظام Preston Blair هو معيار كلاسيكي للتحريك يستخدم أسماء وصفيّة لأشكال الفم:

فيسيم RuntimeMetaHumanLipSync	Preston Blair	ملاحظات
Sil	راحة	وضع الفم المغلق المحايد
PP	MBP	شكل الفم الكلاسيكي "MBP"
FF	FV	وضع "FV" مع الأسنان على الشفة السفلية
TH	TH	لسان يلامس الأسنان الأمامية
DD	D/T/N	وضع مشابه لهذه الحروف الساكنة
KK	CKG	وضع الحروف الساكنة القاسية
CH	CH/J/SH	انبعاج خفيف لهذه الأصوات
SS	S/Z	وضع الأسنان المفتوحة قليلاً
NN	N/NG/L	مشابه لـ D/T ولكن بوضع مختلف للسان
RR	R	شفاه مدورة لصوت الراء
AA	AI	فم مفتوح على مصراعيه
E	EH	فم مفتوح متوسط
IH	EE	شفاه ممتدة
OH	OH	مدور بفتح متوسط
OU	OO	شفاه مدورة بإحكام

نظام الفونيمات في 3ds Max

يستخدم 3ds Max نظامًا قائمًا على الفونيمات لاستوديو الشخصيات:

فيسيم RuntimeMetaHumanLipSync	فونيم 3ds Max	ملاحظات
Sil	rest	وضع الفم الافتراضي
PP	p_b_m	نظير مباشر
FF	f_v	نظير مباشر
TH	th	نظير مباشر
DD	t_d	نظير مباشر
KK	k_g	نظير مباشر
CH	sh_zh_ch	شكل مجتمع
SS	s_z	نظير مباشر
NN	n_l	مجتمع لهذه الأصوات
RR	r	نظير مباشر
AA	ah	صوت علة مفتوح
E	eh	علة متوسطة
IH	ee	علة أمامية مغلقة
OH	oh	علة خلفية مدورة
OU	oo	علة خلفية مغلقة

شخصيات مخصصة (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)

يمكن تعيين الشخصيات المخصصة ذات أشكال الفم/أهداف التشكل (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe، إلخ) عادةً إلى نظام الفيسيمات للإضافة بتقريبات معقولة.

إنشاء أصل وضع مخصص

اتبع هذه الخطوات لإنشاء أصل وضع مخصص لشخصيتك والذي سيتم استخدامه مع عقدة Blend Runtime MetaHuman Lip Sync:

1. تحديد شبكة الهيكل العظمي لشخصيتك

ابحث عن شبكة الهيكل العظمي التي تحتوي على أهداف التشكل (أشكال المزج) التي تريد استخدامها لتحريك تزامن الشفاه. قد تكون هذه شبكة كاملة للجسم أو فقط شبكة للوجه، اعتمادًا على تصميم شخصيتك.

2. التحقق من أهداف التشكل المتاحة

تأكد من أن شبكة الهيكل العظمي الخاصة بك تحتوي على أهداف تشكل مناسبة يمكن استخدامها كفيسيمات لتحريك تزامن الشفاه. يجب أن تحتوي معظم الشخصيات مع دعم تحريك الوجه على بعض أهداف الفونيمات/الفيسيمات.

3. إنشاء رسوم متحركة للوضع المرجعي

1. انتقل إلى إنشاء أصل -> إنشاء رسوم متحركة -> وضع مرجعي
2. أدخل اسمًا وصفيًا لتسلسل الرسوم المتحركة واحفظه في موقع مناسب
3. سيتم فتح تسلسل الرسوم المتحركة الذي تم إنشاؤه تلقائيًا، مع عرض رسوم متحركة فارغة تعمل في حلقة

4. انقر على زر إيقاف مؤقت لإيقاف تشغيل الرسوم المتحركة لتسهيل التحرير

4. تحرير تسلسل الرسوم المتحركة

1. انقر على تحرير في Sequencer -> تحرير باستخدام FK Control Rig
2. في مربع حوار Bake to Control Rig، انقر على زر Bake to Control Rig دون تغيير أي إعدادات

3. سيتحول المحرر إلى وضع الرسوم المتحركة مع فتح علامة تبويب Sequencer
4. عيّن نطاق عرض وقت النهاية إلى 0016 (مما سيضبط تلقائيًا نطاق العمل النهائي إلى 0016 أيضًا)
5. اسحب الحافة اليمنى للشريط المنزلق إلى النهاية اليمنى لنافذة sequencer

5. تحضير منحنيات الحركة

1. عد إلى أصل تسلسل الحركة وحدد أهداف التشكل في قائمة Curves (إذا لم تكن مرئية، أغلق وأعد فتح أصل تسلسل الحركة)
2. احذف أي أهداف تشكل غير مرتبطة بحركات الفم أو الصوتيات التي تريد استخدامها لمزامنة الشفاه

6. خطط لتعيين الفيسيمات الخاصة بك

أنشئ خطة تعيين لمطابقة فيسيمات شخصيتك مع المجموعة المطلوبة من قبل الملحق. على سبيل المثال:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

ملاحظة أنه من المقبول وجود تعيينات متكررة عندما لا تحتوي مجموعة الفيسيمات لشخصيتك على تطابقات دقيقة لكل فيسيم مطلوب.

7. تحريك كل فيسيم

1. لكل فيسيم، قم بتحريك منحنيات morph targets ذات الصلة من 0.0 إلى 1.0
2. ابدأ تحريك كل فيسيم في إطار مختلف
3. قم بتكوين منحنيات إضافية حسب الحاجة (فتح الفك/الفم، وضع اللسان، إلخ) لإنشاء أشكال فيسيمات تبدو طبيعية

8. إنشاء أصل وضعية

1. انتقل إلى إنشاء أصل -> أصل وضعية -> الرسوم المتحركة الحالية
2. أدخل اسمًا وصفيًا لأصل الوضعية واحفظه في موقع مناسب
3. سيتم فتح أصل الوضعية المُنشأ تلقائيًا، مع عرض أوضاع مثل Pose_0، Pose_1، إلخ، كل منها يتوافق مع فيزيم
4. معاينة أوزان الفيزيم للتأكد من عملها كما هو متوقع

9. إنهاء أصل الوضعية

1. أعد تسمية كل وضعية لتطابق أسماء الفيزيم من قسم المتطلبات المسبقة
2. احذف أي أوضاع غير مستخدمة

إعداد معالجة الصوت والمزج

بمجرد أن يصبح أصل الوضع (Pose Asset) جاهزًا، تحتاج إلى إعداد معالجة الصوت وعقد المزج:

1. حدد موقع أو أنشئ مخطط الأزرق للرسوم المتحركة (Animation Blueprint) لشخصيتك
2. قم بإعداد معالجة الصوت والمزج باتباع نفس الخطوات الموثقة في دليل إعداد الملحق القياسي
3. في عقدة Blend Runtime MetaHuman Lip Sync، حدد أصل الوضع المخصص الخاص بك بدلاً من أصل وضع MetaHuman الافتراضي

الجمع مع حركات الجسم

إذا كنت ترغب في تنفيذ مزامنة الشفاه (Lip Sync) إلى جانب حركات الجسم الأخرى:

1. اتبع نفس الخطوات الموثقة في دليل الملحق القياسي
2. تأكد من تقديم أسماء العظام الصحيحة لهيكل عنق شخصيتك بدلاً من استخدام أسماء عظام MetaHuman

النتائج

إليك أمثلة على شخصيات مخصصة تستخدم هذا الإعداد:

تعتمد جودة مزامنة الشفاه بشكل كبير على الشخصية المحددة ومدى جودة إعداد نظام الفيزيم الخاص بها. توضح الأمثلة أعلاه عمل الملحق مع أنواع مختلفة من الشخصيات المخصصة التي لديها أنظمة فيزيم مميزة.