تكوين الإضافة
تكوين النموذج
التكوين القياسي للنموذج
تستخدم عقدة Create Runtime Viseme Generator
إعدادات افتراضية تعمل بشكل جيد في معظم السيناريوهات. يتم التعامل مع التكوين من خلال خصائص عقدة المزج في مخطط الرسوم المتحركة (Animation Blueprint).
للاطلاع على خيارات تكوين مخطط الرسوم المتحركة، راجع قسم تكوين مزامنة الشفاه أدناه.
تكوين النموذج الواقعي
تقبل عقدة Create Realistic MetaHuman Lip Sync Generator
معامل Configuration اختياريًا يسمح لك بتخصيص سلوك المُولِّد:
نوع النموذج
يحدد إعداد نوع النموذج أي إصدار من النموذج الواقعي سيتم استخدامه:
نوع النموذج | الأداء | الجودة البصرية | التعامل مع الضوضاء | حالات الاستخدام الموصى بها |
---|---|---|---|---|
مُحسَّن للغاية (افتراضي) | أعلى أداء، أقل استخدام لوحدة المعالجة المركزية | جودة جيدة | قد يُظهر حركات فم ملحوظة مع ضوضاء الخلفية أو الأصوات غير الصوتية | بيئات الصوت النظيفة، السيناريوهات الحساسة للأداء |
شبه مُحسَّن | أداء جيد، استخدام معتدل لوحدة المعالجة المركزية | جودة عالية | استقرار أفضل مع الصوت المشوب بالضوضاء | الأداء والجودة المتوازنان، ظروف الصوت المختلطة |
الأصلي | مناسب للاستخدام في الوقت الفعلي على وحدات المعالجة المركزية الحديثة | أعلى جودة | الأكثر استقرارًا مع ضوضاء الخلفية والأصوات غير الصوتية | الإنتاجات عالية الجودة، بيئات الصوت الصاخبة، عندما تكون الدقة القصوى مطلوبة |
إعدادات الأداء
خيوط العمل الداخلية (Intra Op Threads): تتحكم في عدد الخيوط المستخدمة لعمليات معالجة النموذج الداخلية.
- 0 (افتراضي/تلقائي): يستخدم الكشف التلقائي (عادة 1/4 من نوى وحدة المعالجة المركزية المتاحة، بحد أقصى 4)
- 1-16: حدد عدد الخيوط يدويًا. قد تحسن القيم الأعلى الأداء على الأنظمة متعددة النواة ولكنها تستخدم المزيد من وحدة المعالجة المركزية
خيوط العمل المتقاطعة (Inter Op Threads): تتحكم في عدد الخيوط المستخدمة للتنفيذ المتوازي لعمليات النموذج المختلفة.
- 0 (افتراضي/تلقائي): يستخدم الكشف التلقائي (عادة 1/8 من نوى وحدة المعالجة المركزية المتاحة، بحد أقصى 2)
- 1-8: حدد عدد الخيوط يدويًا. عادة ما تبقى منخفضة للمعالجة في الوقت الفعلي
حجم جزء المعالجة
يحدد حجم جزء المعالجة عدد العينات التي تتم معالجتها في كل خطوة استدلال. القيمة الافتراضية هي 160 عينة (10 مللي ثانية من الصوت بتردد 16 كيلو هرتز):
- توفر القيم الأصغر تحديثات أكثر تواترًا ولكنها تزيد من استخدام وحدة المعالجة المركزية
- تقلل القيم الأكبر من حمل وحدة المعالجة المركزية ولكنها قد تقلل من استجابة مزامنة الشفاه
- يُوصى باستخدام مضاعفات العدد 160 للحصول على محاذاة مثالية
تكوين النموذج المدعوم بالمزاج
توفر عقدة Create Realistic MetaHuman Lip Sync With Mood Generator
خيارات تكوين إضافية تتجاوز النموذج الواقعي الأساسي:
التكوين الأساسي
الوقت المسبق بالمللي ثانية: توقيت المسبق بالمللي ثانية لتحسين دقة تزامن الشفاه.
- الافتراضي: 80 مللي ثانية
- النطاق: من 20 إلى 200 مللي ثانية (يجب أن يكون قابلاً للقسمة على 20)
- القيم الأعلى توفر تزامنًا أفضل ولكنها تزيد من زمن الوصول
نوع الإخراج: يتحكم في عناصر التحكم في الوجه التي يتم توليدها.
- الوجه الكامل: جميع عناصر التحكم الـ 81 للوجه (الحواجب، العينان، الأنف، الفم، الفك، اللسان)
- الفم فقط: عناصر التحكم المتعلقة بالفم والفك واللسان فقط
إعدادات الأداء: تستخدم نفس إعدادات Intra Op Threads و Inter Op Threads الخاصة بالنموذج الواقعي العادي.
إعدادات الحالة المزاجية
الحالات المزاجية المتاحة:
- محايد، سعيد، حزين، اشمئزاز، غضب، مفاجأة، خوف
- واثق، متحمس، ملل، مرح، مرتبك
شدة الحالة المزاجية: تتحكم في مدى قوة تأثير الحالة المزاجية على الرسوم المتحركة (من 0.0 إلى 1.0)
التحكم في الحالة المزاجية أثناء التشغيل
يمكنك ضبط إعدادات الحالة المزاجية أثناء التشغيل باستخدام الوظائف التالية:
- تعيين الحالة المزاجية: تغيير نوع الحالة المزاجية الحالية
- تعيين شدة الحالة المزاجية: ضبط مدى قوة تأثير الحالة المزاجية على الرسوم المتحركة (من 0.0 إلى 1.0)
- تعيين الوقت المسبق بالمللي ثانية: تعديل توقيت المسبق للتزامن
- تعيين نوع الإخراج: التبديل بين عناصر التحكم في الوجه الكامل والفم فقط
دليل اختيار الحالة المزاجية
اختر الحالات المزاجية المناسبة بناءً على محتواك:
الحالة المزاجية | الأفضل لـ | النطاق النموذجي للشدة |
---|---|---|
محايد | المحادثة العامة، السرد، الحالة الافتراضية | 0.5 - 1.0 |
سعيد | المحتوى الإيجابي، الحوار المرح، الاحتفالات | 0.6 - 1.0 |
حزين | المحتوى الكئيب، المشاهد العاطفية، اللحظات الكئيبة | 0.5 - 0.9 |
اشمئزاز | ردود الفعل السلبية، المحتوى المكروه، الرفض | 0.4 - 0.8 |
غضب | الحوار العدواني، المشاهد المواجهة، الإحباط | 0.6 - 1.0 |
مفاجأة | الأحداث غير المتوقعة، الاكتشافات، ردود فعل الصدمة | 0.7 - 1.0 |
خوف | المواقف المهددة، القلق، الحوار العصبي | 0.5 - 0.9 |
واثق | العروض التقديمية المهنية، حوار القيادة، الكلام الحازم | 0.7 - 1.0 |
متحمس | المحتوى النشط، الإعلانات، الحوار المتحمس | 0.8 - 1.0 |
ملل | المحتوى الرتيب، الحوار غير المهتم، الكلام المتعب | 0.3 - 0.7 |
مرح | المحادثة العادية، الفكاهة، التفاعلات الخفيفة | 0.6 - 0.9 |
مرتبك | الحوار الغني بالأسئلة، عدم اليقين، الحيرة | 0.4 - 0.8 |
تهيئة مخطط الرسوم المتحركة
تهيئة تزامن الشفاه
- Standard Model
- Realistic Models
عقدة Blend Runtime MetaHuman Lip Sync
تحتوي على خيارات إعدادات في لوحة الخصائص الخاصة بها:
الخاصية | الافتراضي | الوصف |
---|---|---|
Interpolation Speed | 25 | يتحكم في سرعة انتقال حركات الشفاه بين وحدات اللفظ البصري. القيم الأعلى تؤدي إلى انتقالات أسرع وأكثر فجائية. |
Reset Time | 0.2 | المدة بالثواني بعدها تتم إعادة تعيين مزامنة الشفاه. هذا مفيد لمنع استمرار مزامنة الشفاه بعد توقف الصوت. |
عقدة Blend Realistic MetaHuman Lip Sync
تحتوي على خيارات إعدادات في لوحة الخصائص الخاصة بها:
الخاصية | الافتراضي | الوصف |
---|---|---|
Interpolation Speed | 30 | يتحكم في سرعة انتقال حركات الشفاه بين المواضع. القيم الأعلى تؤدي إلى انتقالات أسرع وأكثر فجائية. |
Reset Time | 0.2 | المدة بالثواني بعدها تتم إعادة تعيين مزامنة الشفاه. هذا مفيد لمنع استمرار مزامنة الشفاه بعد توقف الصوت. |
ملاحظة: نفس عقدة Animation Blueprint تُستخدم لكل من النماذج الواقعية العادية وتلك المدعومة بالمزاج.
رسوميات الضحك
يمكنك أيضًا إضافة رسوميات ضحك ستستجيب ديناميكيًا للضحك المكتشف في الصوت:
- أضف عقدة
Blend Runtime MetaHuman Laughter
- وصّل متغير
RuntimeVisemeGenerator
الخاص بك بالدبوسViseme Generator
- إذا كنت تستخدم بالفعل مزامنة الشفاه:
- وصّل المخرج من عقدة
Blend Runtime MetaHuman Lip Sync
إلىSource Pose
الخاصة بعقدةBlend Runtime MetaHuman Laughter
- وصّل مخرج عقدة
Blend Runtime MetaHuman Laughter
إلى دبوسResult
الخاص بـOutput Pose
- وصّل المخرج من عقدة
- إذا كنت تستخدم الضحك فقط بدون مزامنة الشفاه:
- وصّل وضعية المصدر الخاصة بك مباشرة إلى
Source Pose
الخاصة بعقدةBlend Runtime MetaHuman Laughter
- وصّل المخرج إلى دبوس
Result
- وصّل وضعية المصدر الخاصة بك مباشرة إلى
عند اكتشاف ضحك في الصوت، سيتحرك شخصيتك ديناميكيًا وفقًا لذلك:
إعدادات الضحك
عقدة Blend Runtime MetaHuman Laughter
لها خيارات إعدادات خاصة بها:
الخاصية | الافتراضي | الوصف |
---|---|---|
Interpolation Speed | 25 | يتحكم في سرعة انتقال حركات الشفاه بين رسوميات الضحك. القيم الأعلى تؤدي إلى انتقالات أسرع وأكثر فجائية. |
Reset Time | 0.2 | المدة بالثواني بعدها تتم إعادة تعيين الضحك. هذا مفيد لمنع استمرار الضحك بعد توقف الصوت. |
Max Laughter Weight | 0.7 | يقوم بقياس أقصى شدة لرسوميات الضحك (0.0 - 1.0). |
ملاحظة: كشف الضحك متاح حاليًا فقط مع النموذج القياسي. |
الدمج مع الرسوم المتحركة الموجودة
لتطبيق مزامنة الشفاه والضحك إلى جانب رسوم الجسم المتحركة الموجودة ورسوم الوجه المخصصة دون تجاوزها:
- أضف عقدة
Layered blend per bone
بين رسوم الجسم المتحركة الخاصة بك والمخرج النهائي. تأكد من أنUse Attached Parent
مضبوط على "صحيح". - اضبط إعداد الطبقة:
- أضف عنصرًا واحدًا إلى مصفوفة
Layer Setup
- أضف 3 عناصر إلى
Branch Filters
للطبقة، معBone Name
التالية:FACIAL_C_FacialRoot
FACIAL_C_Neck2Root
FACIAL_C_Neck1Root
- أضف عنصرًا واحدًا إلى مصفوفة
- هام لرسوم الوجه المتحركة المخصصة: في
Curve Blend Option
، اختر "Use Max Value". هذا يسمح لرسوم الوجه المتحركة المخصصة (التعبيرات، المشاعر، إلخ) بأن تُطبَّق بشكل صحيح فوق مزامنة الشفاه. - أنشئ الاتصالات:
- الرسوم المتحركة الموجودة (مثل
BodyPose
) → مدخلBase Pose
- مخرج رسوم الوجه المتحركة (من عقد مزامنة الشفاه و/أو الضحك) → مدخل
Blend Poses 0
- عقدة الدمج الطبقي → وضع
Result
النهائي
- الرسوم المتحركة الموجودة (مثل
ضبط سلوك مزامنة الشفاه بدقة
التحكم في بروز اللسان
في نموذج مزامنة الشفاه القياسي، قد تلاحظ حركة لسان مفرطة إلى الأمام أثناء نطق بعض الفونيمات. للتحكم في بروز اللسان:
- بعد عقدة مزج مزامنة الشفاه الخاصة بك، أضف عقدة
Modify Curve
- انقر بزر الماوس الأيمن على عقدة
Modify Curve
واختر Add Curve Pin - أضف دبوس منحنى بالاسم
CTRL_expressions_tongueOut
- اضبط خاصية Apply Mode للعقدة على Scale
- عدّل معامل Value للتحكم في امتداد اللسان (مثل 0.8 لتقليل البروز بنسبة 20%)
التحكم في فتح الفك
قد تنتج مزامنة الشفاه الواقعية حركات فك شديدة الاستجابة اعتمادًا على محتوى الصوت ومتطلباتك البصرية. لضبط شدة فتح الفك:
- بعد عقدة مزج مزامنة الشفاه الخاصة بك، أضف عقدة
Modify Curve
- انقر بزر الماوس الأيمن على عقدة
Modify Curve
واختر Add Curve Pin - أضف دبوس منحنى بالاسم
CTRL_expressions_jawOpen
- اضبط خاصية Apply Mode للعقدة على Scale
- عدّل معامل Value للتحكم في مدى فتح الفك (مثل 0.9 لتقليل حركة الفك بنسبة 10%)
الضبط الدقيق الخاص بالمزاج
للنماذج المدعمة بالمزاج، يمكنك ضبط تعبيرات عاطفية محددة بدقة:
التحكم في الحواجب:
CTRL_L_brow_raiseIn.ty
/CTRL_R_brow_raiseIn.ty
- رفع الحاجب الداخليCTRL_L_brow_raiseOut.ty
/CTRL_R_brow_raiseOut.ty
- رفع الحاجب الخارجيCTRL_L_brow_down.ty
/CTRL_R_brow_down.ty
- خفض الحاجب
التحكم في تعبير العين:
CTRL_L_eye_squintInner.ty
/CTRL_R_eye_squintInner.ty
- تضييق العينCTRL_L_eye_cheekRaise.ty
/CTRL_R_eye_cheekRaise.ty
- رفع الخد
مقارنة النماذج واختيارها
الاختيار بين النماذج
عند اختيار نموذج مزامنة الشفاه لمشروعك، ضع في الاعتبار العوامل التالية:
الاعتبار | النموذج القياسي | النموذج الواقعي | النموذج الواقعي المدعوم بالمزاج |
---|---|---|---|
التوافق مع الشخصيات | MetaHumans وجميع أنواع الشخصيات المخصصة | MetaHumans فقط | MetaHumans فقط |
الجودة البصرية | مزامنة شفاه جيدة مع أداء فعال | واقعية محسنة مع حركات فم أكثر طبيعية | واقعية محسنة مع تعبيرات عاطفية |
الأداء | مُحسّن لجميع المنصات بما في ذلك الهاتف المحمول/الواقع الافتراضي | متطلبات موارد أعلى | متطلبات موارد أعلى |
الميزات | 14 وحدة مرئية، كشف الضحك | 81 تحكمًا في الوجه، 3 مستويات تحسين | 81 تحكمًا في الوجه، 12 مزاجًا، إخراج قابل للتكوين |
دعم المنصة | Windows، Android، Quest | Windows، Mac، iOS، Linux | Windows، Mac، iOS، Linux |
حالات الاستخدام | التطبيقات العامة، الألعاب، الواقع الافتراضي/المعزز، الهاتف المحمول | التجارب السينمائية، التفاعلات القريبة | سرد القصص العاطفي، التفاعل المتقدم مع الشخصيات |
التوافق مع إصدار المحرك
إذا كنت تستخدم Unreal Engine 5.2، فقد لا تعمل النماذج الواقعية بشكل صحيح بسبب خطأ في مكتبة إعادة التشكيل في UE. لمستخدمي UE 5.2 الذين يحتاجون إلى وظيفة مزامنة شفاه موثوقة، يرجى استخدام النموذج القياسي بدلاً من ذلك.
هذه المشكلة خاصة بـ UE 5.2 ولا تؤثر على إصدارات المحرك الأخرى.
توصيات الأداء
- بالنسبة لمعظم المشاريع، يوفر النموذج القياسي توازنًا ممتازًا بين الجودة والأداء
- استخدم النموذج الواقعي عندما تحتاج إلى أعلى دقة بصرية لشخصيات MetaHuman
- استخدم النموذج الواقعي المدعوم بالمزاج عندما يكون التحكم في التعبير العاطفي مهمًا لتطبيقك
- ضع في اعتبارك قدرات الأداء لمنصتك المستهدفة عند الاختيار بين النماذج
- اختبر مستويات التحسين المختلفة للعثور على أفضل توازن لحالة استخدامك المحددة
التوافق مع TTS
نوع النموذج | دعم TTS المحلي (عبر Runtime Text To Speech) | دعم TTS الخارجي | ملاحظات |
---|---|---|---|
النموذج القياسي | ✅ دعم كامل | ✅ دعم كامل | متوافق مع جميع خيارات TTS |
النموذج الواقعي | ❌ دعم محدود | ✅ دعم كامل | تعارض وقت تشغيل ONNX مع TTS المحلي |
النموذج الواقعي المدعوم بالمزاج | ✅ دعم كامل | ✅ دعم كامل | متوافق مع جميع خيارات TTS |
استكشاف الأخطاء وإصلاحها
المشكلات الشائعة
إعادة إنشاء المولد للنماذج الواقعية: للتشغيل الموثوق والمتسق مع النماذج الواقعية، يُوصى بإعادة إنشاء المولد في كل مرة تريد فيها تغذية بيانات صوتية جديدة بعد فترة من الخمول. هذا بسبب سلوك وقت تشغيل ONNX الذي يمكن أن يتسبب في توقف مزامنة الشفاه عند إعادة استخدام المولدات بعد فترات من الصمت. التوافق مع TTS المحلي: TTS المحلي المقدم بواسطة إضافة Runtime Text To Speech غير مدعوم حاليًا مع النموذج Realistic العادي بسبب تعارضات وقت تشغيل ONNX. ومع ذلك، فهو متوافق بالكامل مع كل من النموذج Standard والنموذج Realistic المدعوم بالمزاج. استخدم خدمات TTS خارجية إذا كنت تحتاج تحديدًا إلى النموذج Realistic العادي مع وظيفة TTS.
تحسين الأداء:
- اضبط حجم جزء المعالجة (Processing Chunk Size) لنماذج Realistic بناءً على متطلبات أدائك
- استخدم أعداد الخيوط (thread counts) المناسبة لجهازك المستهدف
- فكر في استخدام نوع الإخراج Mouth Only للنماذج المدعومة بالمزاج عندما لا تكون هناك حاجة للرسوميات الوجهية الكاملة