انتقل إلى المحتوى الرئيسي

نظرة عامة

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync هو إضافة تمكن مزامنة الشفاه في الوقت الفعلي، دون اتصال بالإنترنت وعبر المنصات لكل من شخصيات MetaHuman والشخصيات المخصصة. تتيح لك تحريك شفاه الشخصية استجابةً لإدخال صوتي من مصادر متنوعة، بما في ذلك:

تقوم الإضافة داخليًا بتوليد visemes (تمثيلات بصرية للفونيمات) بناءً على الإدخال الصوتي. نظرًا لأنها تعمل مباشرة مع البيانات الصوتية بدلاً من النص، تدعم الإضافة الإدخال متعدد اللغات بما في ذلك على سبيل المثال لا الحصر الإنجليزية، الإسبانية، الفرنسية، الألمانية، اليابانية، الصينية، الكورية، الروسية، الإيطالية، البرتغالية، العربية، والهندية. أي لغة مدعومة حرفيًا حيث يتم إنشاء مزامنة الشفاه من الفونيمات الصوتية بدلاً من معالجة نصية خاصة باللغة.

ينتج النموذج القياسي 14 viseme ويقوم بتحريك مزامنة الشفاه باستخدام أصل وضعية مسبق التعريف. في المقابل، يولد النموذج الواقعي (الحصري لشخصيات MetaHuman) 250 تغييرًا في morph target دون الاعتماد على أصل وضعية مسبق التعريف، مما يؤدي إلى رسوميات وجهية أكثر واقعية بشكل ملحوظ.

توافق الشخصيات​

على الرغم من اسمها، يعمل Runtime MetaHuman Lip Sync مع مجموعة واسعة من الشخصيات تتجاوز MetaHumans فقط:

أنظمة الشخصيات التجارية الشهيرة​

  • شخصيات Daz Genesis 8/9
  • شخصيات Reallusion Character Creator 3/4 (CC3/CC4)
  • شخصيات Mixamo
  • أفاتار ReadyPlayerMe

دعم معايير التحريك​

  • أنظمة blendshape القائمة على FACS
  • معيار Apple ARKit blendshape
  • مجموعات Preston Blair phoneme
  • أنظمة phoneme الخاصة بـ 3ds Max
  • أي شخصية تحتوي على morph targets مخصصة لتعبيرات الوجه

للحصول على تعليمات مفصلة حول استخدام الإضافة مع شخصيات غير MetaHuman، راجع دليل إعداد الشخصيات المخصصة.

معاينة التحريك​

تحقق من مقاطع التحريك القصيرة هذه لترى جودة تحريك مزامنة الشفاه التي تنتجها الإضافة عبر أنواع الشخصيات والنماذج المختلفة:

Realistic Lip Sync Example
نموذج واقعي مع شخصية MetaHuman
Standard Lip Sync Example
النموذج القياسي مع شخصية MetaHuman
Custom Character Lip Sync Example
النموذج القياسي مع شخصية مخصصة
Custom Character Lip Sync Example
النموذج القياسي مع شخصية مخصصة

الميزات الرئيسية​

  • مزامنة الشفاه في الوقت الفعلي من مدخل الميكروفون
  • دعم معالجة الصوت دون اتصال بالإنترنت
  • توافق عبر المنصات مع دعم منصة محدد للنموذج
  • دعم أنظمة الشخصيات المتعددة ومعايير الرسوم المتحركة
  • تعيين مرن للوحدات البصرية (visemes) للشخصيات المخصصة
  • دعم عالمي للغات - يعمل مع أي لغة منطوقة من خلال تحليل الصوت

نماذج مزامنة الشفاه​

يقدم الإضافة نموذجين لمزامنة الشفاه ليناسبا احتياجات المشروع المختلفة:

يوفر نموذج مزامنة الشفاه القياسي أداءً فعالاً عبر المنصات مع توافق واسع للشخصيات:

  • يعمل مع MetaHumans وجميع أنواع الشخصيات المخصصة
  • مُحسّن لأداء الوقت الفعلي
  • متطلبات موارد أقل
  • توافق كامل مع TTS المحلي (إضافة Runtime Text To Speech)
  • دعم المنصة: Windows, Android, المنصات القائمة على Android (بما في ذلك Meta Quest)
إضافة تمديد مطلوبة

لاستخدام النموذج القياسي (الأسرع)، تحتاج إلى تثبيت إضافة تمديد إضافية. راجع قسم المتطلبات الأساسية لتعليمات التثبيت.

يمكنك اختيار النموذج المناسب بناءً على متطلبات مشروعك للأداء، وتوافق الشخصية، والجودة البصرية، والمنصة المستهدفة.

ملاحظة حول توافق TTS

بينما يدعم كلا النموذجين طرق إدخال صوتية متنوعة، فإن النموذج الواقعي لديه توافق محدود مع TTS المحلي بسبب تعارضات وقت تشغيل ONNX. لوظيفة تحويل النص إلى كلام مع النموذج الواقعي، يُوصى بخدمات TTS الخارجية (OpenAI, ElevenLabs).

آلية العمل​

تعالج الإضافة مدخلات الصوت بالطريقة التالية:

  1. يتم استقبال بيانات الصوت كـ تنسيق PCM عائم مع قنوات و معدل عينة محدد
  2. تعالج الإضافة الصوت لتوليد وحدات بصرية (visemes) (phonemes)
  3. تقود هذه الوحدات البصرية رسوم مزامنة الشفاه المتحركة باستخدام أصل وضعية (pose) الشخصية
  4. يتم تطبيق الرسوم المتحركة على الشخصية في الوقت الفعلي

البدء السريع​

إليك الإعداد الأساسي لتمكين مزامنة الشفاه على شخصيتك:

  1. بالنسبة لشخصيات MetaHuman، اتبع دليل إعداد MetaHuman
  2. بالنسبة للشخصيات المخصصة، اتبع دليل إعداد الشخصية المخصصة
  3. قم بإعداد معالجة إدخال الصوت (مثلًا في Event Graph)
  4. وصِّل عقدة Blend Runtime MetaHuman Lip Sync في Anim Graph
  5. شغِّل الصوت وشاهد شخصيتك تتحدث!

موارد إضافية​

📦 التحميلات والروابط​

🎥 الدروس التعليمية المصورة​

التجربة التوضيحية المميزة:​

دروس النموذج الواقعي (عالي الجودة):​

دروس النموذج القياسي:​

الإعداد العام:​

💬 الدعم​