انتقل إلى المحتوى الرئيسي

نظرة عامة

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync هو مكون إضافي يمكّن مزامنة الشفاه في الوقت الفعلي، دون اتصال بالإنترنت وعبر المنصات لكل من شخصيات MetaHuman والشخصيات المخصصة. يسمح لك بتحريك شفاه الشخصية استجابةً لمدخلات الصوت من مصادر مختلفة، بما في ذلك:

يقوم المكون الإضافي داخليًا بإنشاء visemes (تمثيلات بصرية للفونيمات) بناءً على مدخلات الصوت. نظرًا لأنه يعمل مباشرة مع بيانات الصوت بدلاً من النص، يدعم المكون الإضافي مدخلات متعددة اللغات بما في ذلك على سبيل المثال لا الحصر الإنجليزية، الإسبانية، الفرنسية، الألمانية، اليابانية، الصينية، الكورية، الروسية، الإيطالية، البرتغالية، العربية، والهندية. أي لغة مدعومة حرفيًا حيث يتم إنشاء مزامنة الشفاه من فونيمات الصوت بدلاً من معالجة النص الخاصة بلغة معينة.

ينتج النموذج القياسي 14 viseme ويقوم بتحريك مزامنة الشفاه باستخدام أصل وضعية محددة مسبقًا. في المقابل، يولد النموذج الواقعي (الحصري لشخصيات MetaHuman) 250 تغييرًا في morph target دون الاعتماد على أصل وضعية محددة مسبقًا، مما يؤدي إلى حركات وجهية أكثر واقعية بشكل كبير.

توافق الشخصيات​

على الرغم من اسمه، يعمل Runtime MetaHuman Lip Sync مع مجموعة واسعة من الشخصيات إلى جانب شخصيات MetaHuman:

أنظمة الشخصيات التجارية الشهيرة​

  • شخصيات Daz Genesis 8/9
  • شخصيات Reallusion Character Creator 3/4 (CC3/CC4)
  • شخصيات Mixamo
  • أفاتار ReadyPlayerMe

دعم معايير التحريك​

  • أنظمة blendshape القائمة على FACS
  • معيار Apple ARKit blendshape
  • مجموعات فونيم Preston Blair
  • أنظمة فونيم 3ds Max
  • أي شخصية بها morph targets مخصصة لتعبيرات الوجه

للحصول على تعليمات مفصلة حول استخدام المكون الإضافي مع الشخصيات غير MetaHuman، راجع دليل إعداد الشخصيات المخصصة.

معاينة التحريك​

تحقق من هذه التحريكات القصيرة لرؤية جودة تحريك مزامنة الشفاه التي ينتجها المكون الإضافي عبر أنواع الشخصيات والنماذج المختلفة:

Realistic Lip Sync Example
نموذج واقعي مع شخصية MetaHuman
Standard Lip Sync Example
النموذج القياسي مع شخصية MetaHuman
Custom Character Lip Sync Example
النموذج القياسي مع شخصية مخصصة
Custom Character Lip Sync Example
نموذج قياسي مع شخصية مخصصة

الميزات الرئيسية​

  • مزامنة الشفاه في الوقت الحقيقي من مدخل الميكروفون
  • دعم معالجة الصوت دون اتصال بالإنترنت
  • توافق عبر المنصات: Windows، Android، Meta Quest
  • دعم لأنظمة الشخصيات المتعددة ومعايير الرسوم المتحركة
  • تعيين مرن لحركات الفم (visemes) للشخصيات المخصصة
  • دعم عالمي للغات - يعمل مع أي لغة منطوقة من خلال تحليل الصوت

نماذج مزامنة الشفاه​

يقدم البرنامج المساعد نموذجين لمزامنة الشفاه ليناسب احتياجات المشروع المختلفة:

يوفر نموذج مزامنة الشفاه القياسي أداءً فعالاً عبر المنصات مع توافق واسع مع أنواع الشخصيات:

  • يعمل مع MetaHumans وجميع أنواع الشخصيات المخصصة
  • مُحسّن لأداء الوقت الحقيقي على جميع المنصات
  • متطلبات موارد أقل
  • توافق كامل مع TTS المحلي (برنامج Runtime Text To Speech plugin)
  • مناسب لتطبيقات الهاتف المحمول والواقع الافتراضي/المعزز
إضافة برنامج مساعد مطلوبة

لاستخدام النموذج القياسي (الأسرع)، تحتاج إلى تثبيت برنامج إضافي. راجع قسم المتطلبات الأساسية لتعليمات التثبيت.

يمكنك اختيار النموذج المناسب بناءً على متطلبات مشروعك للأداء وتوافق الشخصيات والجودة البصرية.

ملاحظة حول توافق TTS

بينما يدعم كلا النموذجين طرق إدخال الصوت المختلفة، فإن النموذج الواقعي لديه توافق محدود مع TTS المحلي بسبب تعارضات وقت تشغيل ONNX. لوظيفة تحويل النص إلى كلام مع النموذج الواقعي، يُوصى بخدمات TTS الخارجية (OpenAI، ElevenLabs).

كيفية العمل​

يعالج البرنامج المساعد إدخال الصوت بالطريقة التالية:

  1. يتم استقبال بيانات الصوت بتنسيق PCM كقيم عشرية مع قنوات ومعدل عينة محدد
  2. يعالج البرنامج المساعد الصوت لتوليد حركات الفم (visemes) (phonemes)
  3. تقود هذه الحركات رسوم متحركة مزامنة الشفاه باستخدام أصول وضعية الشخصية
  4. يتم تطبيق الرسوم المتحركة على الشخصية في الوقت الحقيقي

البدء السريع​

إليك الإعداد الأساسي لتمكين مزامنة الشفاه على شخصيتك:

  1. بالنسبة لشخصيات MetaHuman، اتبع دليل إعداد MetaHuman
  2. بالنسبة للشخصيات المخصصة، اتبع دليل إعداد الشخصية المخصصة
  3. قم بإعداد معالجة إدخال الصوت (مثل في Event Graph)
  4. قم بتوصيل عقدة Blend Runtime MetaHuman Lip Sync في Anim Graph
  5. شغل الصوت وشاهد شخصيتك تتحدث!

موارد إضافية​

📦 التحميلات والروابط​

🎥 فيديوهات تعليمية​

عرض مميز:​

دروس النموذج الواقعي (عالي الجودة):​

دروس النموذج القياسي:​

الإعداد العام:​

💬 الدعم​