كيفية استخدام المكون الإضافي مع الشخصيات المخصصة

يقدم هذا الدليل شرحًا تفصيليًا لإعداد Runtime MetaHuman Lip Sync للشخصيات غير MetaHuman. تتطلب هذه العملية الإلمام بمفاهيم التحريك والهيكلة. إذا كنت بحاجة إلى مساعدة في تنفيذ هذا لشخصيتك المحددة، يمكنك التواصل للحصول على دعم احترافي على [email protected].

ملاحظة مهمة حول نماذج Lip Sync

توافق الشخصيات المخصصة

الشخصيات المخصصة مدعومة فقط مع النموذج القياسي (الأسرع).

النموذج الواقعي (جودة أعلى) مصمم حصريًا لشخصيات MetaHuman ولا يمكن استخدامه مع الشخصيات المخصصة. طوال هذا الدليل، يجب عليك اتباع تعليمات النموذج القياسي من دليل الإعداد الرئيسي عند الإشارة إليها.

مكون إضافي مطلوب: لاستخدام النموذج القياسي مع الشخصيات المخصصة، يجب تثبيت المكون الإضافي Standard Lip Sync Extension كما هو موضح في قسم المتطلبات الأساسية من دليل الإعداد الرئيسي.

هذا الامتداد مطلوب لجميع تطبيقات الشخصيات المخصصة الموصوفة في هذا الدليل.

المتطلبات الأساسية

قبل البدء، تأكد من أن شخصيتك تلبي هذه المتطلبات:

• تمتلك هيكل عظمي صالح
• تحتوي على أهداف تشكيل (blend shapes) لتعبيرات الوجه
• من الأفضل أن تحتوي على 10+ أهداف تشكيل تحدد visemes (كلما زادت visemes، تحسن جودة lip sync)

يتطلب المكون الإضافي تعيين أهداف التشكيل لشخصيتك إلى visemes القياسية التالية:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

ملاحظة: إذا كان لشخصيتك مجموعة مختلفة من الفيسيمات (وهو أمر محتمل)، فلن تحتاج إلى تطابق دقيق لكل فيسيم. غالبًا ما تكون التقريبات كافية - على سبيل المثال، تعيين فيسيم SH لشخصيتك إلى فيسيم CH للإضافة سيعمل بشكل فعال نظرًا لأنها أصوات متقاربة من الناحية الصوتية.

مرجع تعيين الفيسيمات

فيما يلي تعيينات بين أنظمة الفيسيمات الشائعة والفيسيمات المطلوبة للإضافة:

Apple ARKit

يوفر ARKit مجموعة شاملة من أشكال المزج للرسوم المتحركة للوجه، بما في ذلك عدة أشكال للفم. إليك كيفية تعيينها إلى فيسيمات RuntimeMetaHumanLipSync:

فيسيم RuntimeMetaHumanLipSync	ما يعادله في ARKit	ملاحظات
Sil	mouthClose	الوضع المحايد/الراحة
PP	mouthPressLeft + mouthPressRight	للأصوات الشفوية، استخدم كلا شكلَي الضغط معًا
FF	lowerLipBiteLeft + lowerLipBiteRight (أو mouthRollLower)	الشفة السفلية تلامس الأسنان العلوية، كما في أصوات "f" و "v"
TH	tongueOut	لدى ARKit تحكم مباشر في اللسان
DD	jawOpen (خفيف) + tongueUp (إذا كان لديك هيكل للسان)	اللسان يلامس الحافة السنخية؛ انخفاض طفيف في الفك
KK	mouthLeft أو mouthRight (خفيف)	سحب زوايا الفم بشكل خفيف يقارب الأصوات اللهوية
CH	jawOpen (خفيف) + mouthFunnel (خفيف)	اجمع بينهما للأصوات ما بعد السنخية
SS	mouthFrown	استخدم عبوسًا خفيفًا للأصوات الصفيرية
NN	jawOpen (خفيف جدًا) + mouthClose	فم شبه مغلق مع فتح خفيف للفك
RR	mouthPucker (خفيف)	تقريب خفيف لأصوات الراء
AA	jawOpen + mouthStretchLeft + mouthStretchRight (أو jawOpen + mouthOpen)	فم مفتوح على مصراعيه لصوت "آه"
E	jawOpen (خفيف) + mouthSmile	وضع متوسط الانفتاح مع ابتسامة خفيفة
IH	mouthSmile (خفيف)	انتشار خفيف للشفتين
OH	mouthFunnel	شكل دائري مفتوح
OU	mouthPucker	شفاه مدورة بإحكام

FACS-Based Systems

يستخدم نظام FACS (نظام ترميز حركة الوجه) وحدات الحركة (AUs) لوصف حركات الوجه. العديد من أنظمة الرسوم المتحركة المحترفة تستخدم منهجيات تعتمد على FACS:

فيسيم RuntimeMetaHumanLipSync	وحدات الحركة في FACS	ملاحظات
Sil	Neutral	لا وحدات حركة نشطة
PP	AU23 + AU24	ضاغط الشفاه + مشدّد الشفاه
FF	AU22 + AU28	قمع الشفاه + مص الشفاه
TH	AU25 (خفيف) + AU27	شفاه متباعدة + تمدد الفم
DD	AU25 + AU16	شفاه متباعدة + خافض الشفة السفلية
KK	AU26 + AU14	هبوط الفك + مدملك
CH	AU18 + AU25	تجعيد الشفاه + شفاه متباعدة
SS	AU20	ممدد الشفاه
NN	AU25 (خفيف جدًا)	شفاه متباعدة بشكل طفيف
RR	AU18 (خفيف)	تجعيد خفيف للشفاه
AA	AU27 + AU26	تمدد الفم + هبوط الفك
E	AU25 + AU12	شفاه متباعدة + ساحب زاوية الشفة
IH	AU12 + AU25 (خفيف)	ساحب زاوية الشفة + شفاه متباعدة بشكل خفيف
OH	AU27 (خفيف) + AU18	تمدد خفيف للفم + تجعيد الشفاه
OU	AU18 + AU26 (خفيف)	تجعيد الشفاه + هبوط خفيف للفك

نظام بريستون بلير

نظام بريستون بلير هو معيار كلاسيكي للرسوم المتحركة يستخدم أسماء وصفيّة لأشكال الفم:

RuntimeMetaHumanLipSync Viseme	بريستون بلير	ملاحظات
Sil	Rest	وضع الفم المغلق المحايد
PP	MBP	شكل الفم الكلاسيكي "MBP"
FF	FV	وضع "FV" مع الأسنان على الشفة السفلية
TH	TH	لسان يلامس الأسنان الأمامية
DD	D/T/N	وضع مشابه لهذه الحروف الساكنة
KK	CKG	وضع الحرف الساكن القوي
CH	CH/J/SH	انحناء طفيف للشفاه لهذه الأصوات
SS	S/Z	وضع الأسنان المفتوحة قليلاً
NN	N/NG/L	مشابه لـ D/T ولكن مع وضع مختلف للسان
RR	R	شفاه مدورة لصوت R
AA	AI	فم مفتوح على مصراعيه
E	EH	فم مفتوح بشكل متوسط
IH	EE	شفاه ممتدة
OH	OH	فتحة متوسطة مدورة
OU	OO	شفاه مدورة بإحكام

نظام الفونيمات في 3ds Max

يستخدم 3ds Max نظامًا قائمًا على الفونيمات لاستوديو الشخصيات الخاص به:

RuntimeMetaHumanLipSync Viseme	فونيم 3ds Max	ملاحظات
Sil	rest	وضع الفم الافتراضي
PP	p_b_m	مكافئ مباشر
FF	f_v	مكافئ مباشر
TH	th	مكافئ مباشر
DD	t_d	مكافئ مباشر
KK	k_g	مكافئ مباشر
CH	sh_zh_ch	شكل مجتمع
SS	s_z	مكافئ مباشر
NN	n_l	مجتمع لهذه الأصوات
RR	r	مكافئ مباشر
AA	ah	صوت علة مفتوح
E	eh	علة متوسطة
IH	ee	علة أمامية مغلقة
OH	oh	علة خلفية مدورة
OU	oo	علة خلفية مغلقة

الشخصيات المخصصة (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)

يمكن عادةً تعيين الشخصيات المخصصة ذات أشكال الفم المدمجة أو أهداف التشكيل (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe، إلخ) على نظام الفيزيم الخاص بالبرنامج المساعد بتقريب معقول.

إنشاء أصل وضع مخصص

اتبع هذه الخطوات لإنشاء أصل وضع مخصص لشخصيتك والذي سيتم استخدامه مع عقدة Blend Runtime MetaHuman Lip Sync:

1. حدد شبكة الهيكل العظمي لشخصيتك

ابحث عن شبكة الهيكل العظمي التي تحتوي على أهداف التشكيل (أشكال المزج) التي تريد استخدامها لتحريك مزامنة الشفاه. قد تكون هذه شبكة للجسم بالكامل أو فقط لشبكة الوجه، اعتمادًا على تصميم شخصيتك.

2. تحقق من أهداف التشكيل المتاحة

تأكد من أن شبكة الهيكل العظمي الخاصة بك تحتوي على أهداف تشكيل مناسبة يمكن استخدامها كفيزيمات لتحريك مزامنة الشفاه. يجب أن تحتوي معظم الشخصيات التي تدعم تحريك الوجه على بعض أهداف التشكيل للفونيمات/الفيزيمات.

3. إنشاء حركة وضع مرجعي

1. انتقل إلى إنشاء أصل -> إنشاء رسوم متحركة -> وضع مرجعي
2. أدخل اسمًا وصفيًا لتسلسل الرسوم المتحركة واحفظه في موقع مناسب
3. سيتم فتح تسلسل الرسوم المتحركة الذي تم إنشاؤه تلقائيًا، مع عرض رسوم متحركة فارغة تعمل في حلقة

4. انقر على زر إيقاف مؤقت لإيقاف تشغيل الرسوم المتحركة لتسهيل التعديل

4. تعديل تسلسل الرسوم المتحركة

1. انقر على تحرير في Sequencer -> تحرير باستخدام FK Control Rig
2. في مربع حوار Bake to Control Rig، انقر على زر Bake to Control Rig دون تغيير أي إعدادات

3. سيتحول المحرر إلى وضع الرسوم المتحركة مع فتح علامة تبويب Sequencer
4. اضبط نطاق عرض وقت الانتهاء على 0016 (مما سيضبط تلقائيًا نطاق العمل وقت الانتهاء على 0016 أيضًا)
5. اسحب الحافة اليمنى للشريط المنزلق إلى النهاية اليمنى لنافذة sequencer

5. إعداد منحنيات الرسوم المتحركة

1. عد إلى أصل تسلسل الرسوم المتحركة وحدد أهداف التشكل في قائمة Curves (إذا لم تكن مرئية، أغلق وأعد فتح أصل تسلسل الرسوم المتحركة)
2. احذف أي أهداف تشكل غير مرتبطة بحركات الفم أو الصوتيات التي تريد استخدامها لمزامنة الشفاه (Lip Sync)

6. خطط لتعيين الفيسيمات الخاصة بك

قم بإنشاء خطة تعيين لمطابقة فيسيمات شخصيتك مع المجموعة المطلوبة من قبل الملحق. على سبيل المثال:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

ملاحظة أنه من المقبول وجود تعيينات متكررة عندما لا تحتوي مجموعة الفيزيمات الخاصة بشخصيتك على تطابقات دقيقة لكل فيزيم مطلوب.

7. تحريك كل فيزيم

1. لكل فيزيم، قم بتحريك منحنيات morph target ذات الصلة من 0.0 إلى 1.0
2. ابدأ تحريك كل فيزيم في إطار مختلف
3. قم بتكوين منحنيات إضافية حسب الحاجة (فتح الفك/الفم، وضع اللسان، إلخ) لإنشاء أشكال فيزيمات تبدو طبيعية

8. إنشاء أصل وضعية

1. انتقل إلى إنشاء أصل -> أصل وضعية -> الرسوم المتحركة الحالية
2. أدخل اسمًا وصفيًا لأصل الوضعية واحفظه في موقع مناسب
3. سيتم فتح أصل الوضعية المنشأ تلقائيًا، مع عرض أوضاع مثل Pose_0، Pose_1، إلخ، كل منها يتوافق مع فيسيم
4. معاينة أوزان الفيسيم للتأكد من عملها كما هو متوقع

9. إنهاء أصل الوضعية

1. أعد تسمية كل وضعية لتطابق أسماء الفيسيم من قسم المتطلبات الأساسية
2. احذف أي أوضاع غير مستخدمة

إعداد معالجة الصوت والمزج

بمجرد أن يصبح أصل الوضع (Pose Asset) جاهزًا، تحتاج إلى إعداد معالجة الصوت وعقد المزج:

1. حدد موقع أو أنشئ مخطط الأزرق (Animation Blueprint) لشخصيتك
2. قم بإعداد معالجة الصوت والمزج باتباع نفس الخطوات الموثقة في دليل إعداد الملحق القياسي
3. في عقدة Blend Runtime MetaHuman Lip Sync، حدد أصل الوضع المخصص الخاص بك بدلاً من أصل وضع MetaHuman الافتراضي

الجمع مع حركات الجسم

إذا كنت تريد تنفيذ مزامنة الشفاه (Lip Sync) جنبًا إلى جنب مع حركات الجسم الأخرى:

1. اتبع نفس الخطوات الموثقة في دليل الملحق القياسي
2. تأكد من تقديم أسماء العظام الصحيحة لهيكل عنق شخصيتك بدلاً من استخدام أسماء عظام MetaHuman

النتائج

فيما يلي أمثلة على الشخصيات المخصصة التي تستخدم هذا الإعداد:

تعتمد جودة مزامنة الشفاه إلى حد كبير على الشخصية المحددة ومدى جودة إعداد فيزماتها. توضح الأمثلة أعلاه عمل الملحق مع أنواع مختلفة من الشخصيات المخصصة التي لديها أنظمة فيزم مميزة.