انتقل إلى المحتوى الرئيسي

نظرة عامة

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync هو مكوّن إضافي يمكّن مزامنة الشفاه في الوقت الفعلي دون اتصال وعبر المنصات لكل من شخصيات MetaHuman والشخصيات المخصصة. يسمح لك بتحريك شفاه الشخصية استجابةً لمدخلات صوتية من مصادر مختلفة، بما في ذلك:

يولد المكوّن داخليًا visemes (تمثيلات بصرية للفونيمات) بناءً على المدخلات الصوتية. نظرًا لأنه يعمل مباشرة مع بيانات الصوت بدلاً من النص، يدعم المكوّن مدخلات متعددة اللغات بما في ذلك على سبيل المثال لا الحصر الإنجليزية، الإسبانية، الفرنسية، الألمانية، اليابانية، الصينية، الكورية، الروسية، الإيطالية، البرتغالية، العربية، والهندية. أي لغة مدعومة حرفيًا حيث يتم إنشاء مزامنة الشفاه من فونيمات الصوت بدلاً من معالجة النص الخاصة بلغة معينة.

يُنتج النموذج القياسي 14 viseme ويقوم بتحريك مزامنة الشفاه باستخدام أصل وضع مسبق التعريف. في المقابل، يُنتج النموذج الواقعي (حصري لشخصيات MetaHuman) 250 تغييرًا في morph target دون الاعتماد على أصل وضع مسبق التعريف، مما يؤدي إلى حركات وجهية أكثر واقعية بشكل ملحوظ.

توافق الشخصيات​

على الرغم من اسمه، يعمل Runtime MetaHuman Lip Sync مع مجموعة واسعة من الشخصيات إلى جانب MetaHumans:

أنظمة الشخصيات التجارية الشهيرة​

  • شخصيات Daz Genesis 8/9
  • شخصيات Reallusion Character Creator 3/4 (CC3/CC4)
  • شخصيات Mixamo
  • أفاتار ReadyPlayerMe

دعم معايير التحريك​

  • أنظمة blendshape القائمة على FACS
  • معيار Apple ARKit blendshape
  • مجموعات فونيم Preston Blair
  • أنظمة فونيم 3ds Max
  • أي شخصية بها morph targets مخصصة لتعبيرات الوجه

للحصول على تعليمات مفصلة حول استخدام المكوّن مع شخصيات غير MetaHuman، راجع دليل إعداد الشخصيات المخصصة.

معاينة التحريك​

تحقق من هذه التحريكات القصيرة لرؤية جودة تحريك مزامنة الشفاه التي ينتجها المكوّن عبر أنواع الشخصيات والنماذج المختلفة:

Realistic Lip Sync Example
نموذج واقعي مع شخصية MetaHuman
Standard Lip Sync Example
النموذج القياسي مع شخصية MetaHuman
Custom Character Lip Sync Example
النموذج القياسي مع شخصية مخصصة
Custom Character Lip Sync Example
النموذج القياسي مع شخصية مخصصة

الميزات الرئيسية​

  • مزامنة الشفاه في الوقت الحقيقي من مدخل الميكروفون
  • دعم معالجة الصوت دون اتصال بالإنترنت
  • التوافق عبر المنصات: Windows، Android، Meta Quest
  • دعم لأنظمة الشخصيات المتعددة ومعايير التحريك
  • تعيين مرن لحركات الفم (visemes) للشخصيات المخصصة
  • دعم عالمي للغات - يعمل مع أي لغة منطوقة من خلال تحليل الصوت

نماذج مزامنة الشفاه​

يقدم الملحق نموذجين لمزامنة الشفاه ليناسبا احتياجات المشاريع المختلفة:

يوفر النموذج القياسي لمزامنة الشفاه أداءً فعالاً عبر المنصات مع توافق واسع مع أنواع الشخصيات:

  • يعمل مع MetaHumans وجميع أنواع الشخصيات المخصصة
  • مُحسّن لأداء الوقت الحقيقي على جميع المنصات
  • متطلبات موارد أقل
  • توافق كامل مع TTS المحلي (ملحق Runtime Text To Speech)
  • مناسب لتطبيقات الهواتف المحمولة والواقع الافتراضي/المعزز

يمكنك اختيار النموذج المناسب بناءً على متطلبات مشروعك للأداء وتوافق الشخصيات والجودة البصرية.

:::ملاحظة حول توافق TTS بينما يدعم كلا النموذجين طرق إدخال صوتية متنوعة، فإن النموذج الواقعي له توافق محدود مع TTS المحلي بسبب تعارضات وقت تشغيل ONNX. لوظيفة تحويل النص إلى كلام مع النموذج الواقعي، يُوصى بخدمات TTS الخارجية (OpenAI، ElevenLabs). :::

كيفية العمل​

يعالج الملحق مدخلات الصوت بالطريقة التالية:

  1. يتم استقبال بيانات الصوت بتنسيق PCM كقيم عشرية مع تحديد القنوات ومعدل العينة
  2. يعالج الملحق الصوت لتوليد حركات الفم (visemes) (أصوات الكلام)
  3. تقود هذه الحركات تحريك مزامنة الشفاه باستخدام أصول وضعية الشخصية
  4. يتم تطبيق التحريك على الشخصية في الوقت الحقيقي

البدء السريع​

إليك الإعداد الأساسي لتمكين مزامنة الشفاه على شخصيتك:

  1. لشخصيات MetaHuman، اتبع دليل إعداد MetaHuman
  2. للشخصيات المخصصة، اتبع دليل إعداد الشخصيات المخصصة
  3. قم بإعداد معالجة مدخلات الصوت (مثل في Event Graph)
  4. وصّل عقدة Blend Runtime MetaHuman Lip Sync في Anim Graph
  5. شغّل الصوت وشاهد شخصيتك تتحدث!

موارد إضافية​

📦 التحميلات والروابط​

🎥 فيديوهات تعليمية​

عرض تجريبي مميز:​

دروس النموذج الواقعي (عالي الجودة):​

دروس النموذج القياسي:​

إعداد عام:​

💬 الدعم​