انتقل إلى المحتوى الرئيسي

نظرة عامة

وثائق Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync هو مكون إضافي يمكّن مزامنة الشفاه في الوقت الفعلي، دون اتصال بالإنترنت وعبر المنصات لكل من شخصيات MetaHuman والشخصيات المخصصة. يسمح لك برسم حركة شفاه الشخصية استجابةً لمدخلات صوتية من مصادر متنوعة، بما في ذلك:

يولد المكون الإضافي داخليًا visemes (تمثيلات بصرية للفونيمات) بناءً على المدخل الصوتي. نظرًا لأنه يعمل مباشرة مع البيانات الصوتية بدلاً من النص، يدعم المكون الإضافي المدخلات متعددة اللغات بما في ذلك على سبيل المثال لا الحصر الإنجليزية، الإسبانية، الفرنسية، الألمانية، اليابانية، الصينية، الكورية، الروسية، الإيطالية، البرتغالية، العربية، والهندية. أي لغة مدعومة حرفيًا حيث يتم إنشاء مزامنة الشفاه من فونيمات الصوت بدلاً من معالجة نصية خاصة بلغة معينة.

ينتج النموذج القياسي 14 viseme وينفذ رسوم متحركة لمزامنة الشفاه باستخدام أصل وضعية مسبقة التعريف. في المقابل، تولد النماذج الواقعية (الحصرية لشخصيات MetaHuman) 81 تغييرًا في التحكم الوجهي دون الاعتماد على أصل وضعية مسبقة التعريف، مما يؤدي إلى رسوم متحركة وجهية أكثر واقعية بشكل ملحوظ.

توافق الشخصية​

على الرغم من اسمه، يعمل Runtime MetaHuman Lip Sync مع مجموعة واسعة من الشخصيات تتجاوز MetaHumans فقط:

أنظمة الشخصيات التجارية الشهيرة​

  • شخصيات Daz Genesis 8/9
  • شخصيات Reallusion Character Creator 3/4 (CC3/CC4)
  • شخصيات Mixamo
  • الأفاتار الخاصة بـ ReadyPlayerMe

دعم معايير الرسوم المتحركة​

  • أنظمة blendshape القائمة على FACS
  • معيار blendshape الخاص بـ Apple ARKit
  • مجموعات فونيم Preston Blair
  • أنظمة فونيم 3ds Max
  • أي شخصية تحتوي على أهداف تشكيل مخصصة للتعبيرات الوجهية

للحصول على تعليمات مفصلة حول استخدام المكون الإضافي مع الشخصيات غير MetaHuman، راجع دليل إعداد الشخصية المخصصة.

معاينة الرسوم المتحركة​

تحقق من هذه الرسوم المتحركة القصيرة لترى جودة رسوم متحركة لمزامنة الشفاه التي ينتجها المكون الإضافي عبر أنواع الشخصيات والنماذج المختلفة:

Realistic Lip Sync Example
نموذج واقعي مع شخصية MetaHuman
Standard Lip Sync Example
نموذج قياسي مع شخصية MetaHuman
Custom Character Lip Sync Example
نموذج قياسي مع شخصية مخصصة
Custom Character Lip Sync Example
نموذج قياسي مع شخصية مخصصة

الميزات الرئيسية​

  • مزامنة شفاه في الوقت الفعلي من مدخل الميكروفون
  • دعم معالجة الصوت دون اتصال بالإنترنت
  • توافق عبر المنصات مع دعم منصة محدد للنموذج
  • دعم أنظمة الشخصيات المتعددة ومعايير الرسوم المتحركة
  • تعيين مرن للوحدات الصوتية المرئية للشخصيات المخصصة
  • دعم عالمي للغات - يعمل مع أي لغة منطوقة من خلال تحليل الصوت
  • رسوم متحركة للوجه واعية بالمزاج لتحسين التعبير
  • أنواع مخرجات قابلة للتكوين (الوجه الكامل أو عناصر تحكم الفم فقط)

نماذج مزامنة الشفاه​

تقدم الإضافة نماذج متعددة لمزامنة الشفاه لتلائم احتياجات المشروع المختلفة:

يوفر نموذج مزامنة الشفاه القياسي أداءً فعالاً عبر المنصات مع توافق واسع للشخصيات:

  • يعمل مع MetaHumans وجميع أنواع الشخصيات المخصصة
  • مُحسّن لأداء الوقت الفعلي
  • متطلبات موارد أقل
  • توافق كامل مع TTS المحلي (إضافة Runtime Text To Speech)
  • دعم المنصة: Windows, Android, المنصات القائمة على Android (بما في ذلك Meta Quest)
  • ثلاث مستويات تحسين: الأصلي، شبه المُحسّن، والمُحسّن للغاية
إضافة تمديد مطلوبة

لاستخدام النموذج القياسي، تحتاج إلى تثبيت إضافة تمديد إضافية. راجع قسم المتطلبات الأساسية لتعليمات التثبيت.

يمكنك اختيار النموذج المناسب بناءً على متطلبات مشروعك من حيث الأداء، والتوافق مع الشخصية، والجودة البصرية، ومنصة الهدف، واحتياجات الميزات.

ملاحظة حول التوافق مع TTS

بينما تدعم جميع النماذج طرقًا مختلفة لإدخال الصوت، فإن النموذج الواقعي العادي لديه توافق محدود مع TTS المحلي بسبب تعارضات وقت تشغيل ONNX. ومع ذلك، فإن النموذج الواقعي المُمكّن بالمزاج متوافق بالكامل مع TTS المحلي. لوظيفة تحويل النص إلى كلام:

  • النموذج القياسي: متوافق مع جميع خيارات TTS (المحلية والخارجية)
  • النموذج الواقعي: يُوصى بخدمات TTS الخارجية (OpenAI, ElevenLabs)
  • النموذج الواقعي المُمكّن بالمزاج: متوافق مع جميع خيارات TTS (المحلية والخارجية)

كيف يعمل​

يقوم البرنامج المساعد بمعالجة إدخال الصوت بالطريقة التالية:

  1. يتم استقبال بيانات الصوت بتنسيق PCM عائم مع قنوات ومعدل عينة محددين
  2. يعالج البرنامج المساعد الصوت لتوليد بيانات تحكم في الوجه أو visemes اعتمادًا على النموذج
  3. بالنسبة للنماذج المُمكّنة بالمزاج، يتم تطبيق السياق العاطفي على الرسوم المتحركة للوجه
  4. تقوم بيانات الرسوم المتحركة بتحريك تعابير وجه الشخصية في الوقت الفعلي

البدء السريع​

إليك الإعداد الأساسي لتمكين مزامنة الشفاه على شخصيتك:

  1. لشخصيات MetaHuman، اتبع دليل الإعداد
  2. للشخصيات المخصصة، اتبع دليل إعداد الشخصية المخصصة
  3. اختر وقم بتكوين نموذج مزامنة الشفاه المفضل لديك
  4. قم بإعداد معالجة إدخال الصوت في مخططك الأزرق (Blueprint)
  5. قم بتوصيل عقدة مزامنة الشفاه المناسبة في مخطط الرسوم المتحركة الأزرق (Animation Blueprint)
  6. شغل الصوت وشاهد شخصيتك تتحدث بعاطفة!

موارد إضافية​

📦 التحميلات والروابط​

🎥 دروس الفيديو​

العرض التوضيحي المميز:​

دروس النموذج الواقعي (عالية الجودة):​

دروس النموذج القياسي:​

الإعداد العام:​

💬 الدعم​