انتقل إلى المحتوى الرئيسي

نظرة عامة

وثائق Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync هو مكون إضافي يمكّن مزامنة الشفاه في الوقت الفعلي، دون اتصال بالإنترنت، وعبر المنصات لكل من شخصيات MetaHuman والشخصيات المخصصة. يسمح لك برسم حركة شفاه الشخصية استجابةً لمدخلات صوتية من مصادر متنوعة، تشمل:

يولد المكون الإضافي داخليًا visemes (تمثيلات بصرية للوحدات الصوتية) بناءً على مدخلات الصوت. نظرًا لأنه يعمل مباشرة مع بيانات الصوت بدلاً من النص، يدعم المكون الإضافي المدخلات متعددة اللغات بما في ذلك على سبيل المثال لا الحصر الإنجليزية، والإسبانية، والفرنسية، والألمانية، واليابانية، والصينية، والكورية، والروسية، والإيطالية، والبرتغالية، والعربية، والهندية. أي لغة مدعومة حرفيًا حيث يتم إنشاء مزامنة الشفاه من الوحدات الصوتية للصوت بدلاً من معالجة نصية خاصة بلغة معينة.

ينتج النموذج القياسي 14 viseme وينفذ رسوم متحركة لمزامنة الشفاه باستخدام أصل وضعية مسبقة التعريف. في المقابل، تولد النماذج الواقعية (الحصرية لشخصيات MetaHuman) 81 تغييرًا في التحكم الوجهي دون الاعتماد على أصل وضعية مسبقة التعريف، مما يؤدي إلى رسوم متحركة وجهية أكثر واقعية بشكل ملحوظ.

توافق الشخصيات​

على الرغم من اسمه، يعمل Runtime MetaHuman Lip Sync مع نطاق واسع من الشخصيات يتجاوز مجرد شخصيات MetaHuman:

أنظمة الشخصيات التجارية الشهيرة​

  • شخصيات Daz Genesis 8/9
  • شخصيات Reallusion Character Creator 3/4 (CC3/CC4)
  • شخصيات Mixamo
  • الأفاتار الخاصة بـ ReadyPlayerMe

دعم معايير الرسوم المتحركة​

  • أنظمة blendshape القائمة على FACS
  • معيار blendshape الخاص بـ Apple ARKit
  • مجموعات الوحدات الصوتية Preston Blair
  • أنظمة الوحدات الصوتية الخاصة بـ 3ds Max
  • أي شخصية تحتوي على أهداف تشكيل مخصصة للتعبيرات الوجهية

للحصول على تعليمات مفصلة حول استخدام المكون الإضافي مع الشخصيات غير التابعة لـ MetaHuman، راجع دليل إعداد الشخصية المخصصة.

معاينة الرسوم المتحركة​

تحقق من هذه الرسوم المتحركة القصيرة لترى جودة رسوم متحركة لمزامنة الشفاه التي ينتجها المكون الإضافي عبر أنواع الشخصيات والنماذج المختلفة:

Realistic Lip Sync Example
نموذج واقعي مع شخصية MetaHuman
Standard Lip Sync Example
نموذج قياسي مع شخصية MetaHuman
Custom Character Lip Sync Example
نموذج قياسي مع شخصية مخصصة
Custom Character Lip Sync Example
نموذج قياسي مع شخصية مخصصة

الميزات الرئيسية​

  • مزامنة الشفاه في الوقت الفعلي من مدخل الميكروفون
  • دعم معالجة الصوت بلا اتصال
  • توافق عبر المنصات مع دعم منصة محدد للنموذج
  • دعم أنظمة الشخصيات المتعددة ومعايير الرسوم المتحركة
  • تعيين مرن للوحدات الصوتية البصرية للشخصيات المخصصة
  • دعم لغوي عالمي - يعمل مع أي لغة منطوقة من خلال تحليل الصوت
  • رسوم متحركة للوجه واعية بالمزاج لتحسين التعبير
  • أنواع مخرجات قابلة للتكوين (ضوابط الوجه الكامل أو الفم فقط)

نماذج مزامنة الشفاه​

تقدم الإضافة نماذج متعددة لمزامنة الشفاه لتلائم احتياجات المشروع المختلفة:

يوفر نموذج مزامنة الشفاه القياسي أداءً فعالاً عبر المنصات مع توافق واسع للشخصيات:

  • يعمل مع MetaHumans وجميع أنواع الشخصيات المخصصة
  • مُحسّن لأداء الوقت الفعلي
  • متطلبات موارد أقل
  • توافق كامل مع TTS المحلي (إضافة Runtime Text To Speech)
  • دعم المنصة: Windows, Android, Android-based platforms (بما في ذلك Meta Quest)
إضافة امتداد مطلوبة

لاستخدام النموذج القياسي، تحتاج إلى تثبيت إضافة امتداد إضافية. راجع قسم المتطلبات الأساسية للحصول على تعليمات التثبيت.

يمكنك اختيار النموذج المناسب بناءً على متطلبات مشروعك من حيث الأداء، والتوافق مع الشخصية، والجودة البصرية، ومنصة الهدف، والاحتياجات الوظيفية.

ملاحظة حول توافق TTS

بينما تدعم جميع النماذج طرق إدخال صوتية متنوعة، فإن النموذج الواقعي العادي لديه توافق محدود مع TTS المحلي بسبب تعارضات وقت تشغيل ONNX. ومع ذلك، فإن النموذج الواقعي المدعوم بالمزاج متوافق بالكامل مع TTS المحلي. لوظيفة تحويل النص إلى كلام:

  • النموذج القياسي: متوافق مع جميع خيارات TTS (المحلية والخارجية)
  • النموذج الواقعي: يوصى بخدمات TTS الخارجية (OpenAI, ElevenLabs)
  • النموذج الواقعي المدعوم بالمزاج: متوافق مع جميع خيارات TTS (المحلية والخارجية)

كيف يعمل​

يقوم البرنامج المساعد بمعالجة إدخال الصوت بالطريقة التالية:

  1. يتم استقبال بيانات الصوت بتنسيق PCM عائم مع قنوات ومعدل عينات محدد
  2. يعالج البرنامج المساعد الصوت لتوليد بيانات تحكم الوجه أو visemes اعتمادًا على النموذج
  3. بالنسبة للنماذج المدعومة بالمزاج، يتم تطبيق السياق العاطفي على تحريك الوجه
  4. تقوم بيانات التحريك بتحريك تعابير وجه الشخصية في الوقت الفعلي

البدء السريع​

إليك الإعداد الأساسي لتمكين مزامنة الشفاه على شخصيتك:

  1. لشخصيات MetaHuman، اتبع دليل الإعداد
  2. للشخصيات المخصصة، اتبع دليل إعداد الشخصية المخصصة
  3. اختر وضبط نموذج مزامنة الشفاه المفضل لديك
  4. قم بإعداد معالجة إدخال الصوت في الـ Blueprint الخاص بك
  5. قم بتوصيل عقدة مزامنة الشفاه المناسبة في Animation Blueprint
  6. شغل الصوت وشاهد شخصيتك تتحدث بعاطفة!

موارد إضافية​

📦 التحميلات والروابط​

🎥 دروس الفيديو​

العرض التوضيحي المميز:​

دروس النموذج الواقعي (عالية الجودة):​

دروس النموذج القياسي:​

الإعداد العام:​

💬 الدعم​