انتقل إلى المحتوى الرئيسي

مشاريع توضيحية

لمساعدتك على البدء بسرعة مع Runtime MetaHuman Lip Sync، يتوفر مشروعان تجريبيان جاهزان للاستخدام. تم تصميم كليهما باستخدام Unreal Engine 5.6 (ويتم دعمهما على UE 5.7+)، وهما يعتمدان على Blueprint فقط، ويعملان عبر الأنظمة الأساسية على Windows و Mac و Linux و iOS و Android، بالإضافة إلى الأنظمة القائمة على Android (بما في ذلك Meta Quest).

مشاريع العرض التوضيحي المتاحة​

سير عمل محادثة AI NPC كامل يجمع بين التعرف على الكلام، وروبوت محادثة AI (LLM)، وتحويل النص إلى كلام، وتشغيل الصوت مع مزامنة الشفاه في الوقت الفعلي - وكلها تشتغل معًا في مشروع واحد.

نظرة عامة على خطوات العمل​

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

فيديو مميز​

التنزيلات​

الإضافات المطلوبة والاختيارية​

المشروع التجريبي معياري - أنت بحاجة فقط للإضافات الخاصة بالمزودين الذين تريد استخدامهم.

الإضافةالغرضمطلوبة؟
Runtime MetaHuman Lip Syncأنيميشن مزامنة الشفاه✅ دائماً
Runtime Audio Importerالتقاط الصوت ومعالجته✅ دائماً
Runtime Speech Recognizerالتعرف على الكلام دون اتصال (whisper.cpp)✅ دائماً
Runtime AI Chatbot IntegratorLLMs خارجية (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) و/أو TTS خارجي (OpenAI, ElevenLabs)🔶 اختياري*
Runtime Local LLMاستدلال LLM محلي عبر llama.cpp (نماذج Llama، Mistral، Gemma، إلخ، GGUF)🔶 اختياري*
Runtime Text To SpeechTTS محلي عبر Piper و Kokoro🔶 اختياري*

* أنت بحاجة إلى مزود LLM واحد على الأقل و مزود TTS واحد على الأقل. امزج وطابق بحرية (على سبيل المثال LLM محلي + ElevenLabs TTS، أو OpenAI LLM + TTS محلي).

الهندسة المعمارية المعيارية​

المشروع التجريبي معياري بالكامل. في مجلد Content ستجد مجلد Modules يحتوي على ثلاثة مجلدات فرعية:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

إذا لم تحصل على واحد (أو أكثر) من الإضافات الاختيارية، فاحذف ببساطة المجلد (المجلدات) المقابلة. لا تشير الأصول الأساسية لمشروع العرض (مشغّل اللعبة، وعناصر الواجهة، وما إلى ذلك) إلى هذه الوحدات بشكل مباشر، لذا لن يؤدي حذفها إلى حدوث أخطاء مرجعية في الأصول. ستقوم واجهة التكوين تلقائيًا بإخفاء أي مزوّد مفقود مجلده.

ملاحظة

تنطبق هذه القابلية للتجزئة فقط على مزوّدي LLM و TTS. أما Speech Recognition (Runtime Speech Recognizer) و Lip Sync (Runtime MetaHuman Lip Sync) فهما جزءان من مشروع العرض الأساسي ومطلوبان دائمًا.

هيكل مجلد الوحدات

warning

عند التشغيل الأول، قد يسأل Unreal ما إذا كان يجب تعطيل أي إضافات اختيارية مفقودة - انقر على Yes. تأكد أيضًا من حذف مجلد Content/Modules/ المقابل (انظر أعلاه).

تخطيط مشروع العرض​

واجهة المستخدم لأغراض العرض التوضيحي

تم بناء واجهة المستخدم الموضحة أدناه بالكامل باستخدام UMG (Unreal Motion Graphics) وهي مخصصة فقط لتوضيح سير العمل - التعرف على الكلام → LLM → TTS → تزامن الشفاه. أنت حر في إعادة تصميمها أو استبدالها لتتناسب مع التصميم المرئي للعبتك، أو نظام التحكم، أو المنصة (VR/AR، الهاتف المحمول، الأجهزة المنزلية، إلخ). إذا لم تكن هناك حاجة إلى بعض الأدوات في حالة الاستخدام الخاصة بك، فيمكنك ببساطة إخفاؤها (مثلاً، تعيين رؤيتها إلى Collapsed أو Hidden).

نظرة عامة مشروحة على الشاشة الرئيسية لمشروع العرض

المنطقةما يوجد بها
الوسطشخصية MetaHuman.
الجانب الأيسرأربعة أزرار تكوين (التعرف على الكلام، روبوت المحادثة الذكي، تحويل النص إلى كلام، الرسوم المتحركة)، مفصّلة أدناه.
الأسفل الأوسطزر بدء التسجيل. انقر عليه لبدء محادثة صوتية: يتم التقاط الميكروفون الخاص بك، ونسخه، وإرساله إلى LLM، ويتم توليف الرد عبر TTS، ويتم تشغيله مع تزامن الشفاه، بشكل غير يدوي بالكامل.
اليمين الأوسطعنصر سجل المحادثة يعرض الحوار الكامل بينك وبين الذكاء الاصطناعي (رسائل المستخدم والمساعد). يحتوي أيضًا على حقل إدخال نصي، بحيث يمكنك كتابة الرسائل مباشرة دون استخدام التعرف على الكلام، وهو مفيد للاختبار، أو لتسهيل الوصول، أو عند عدم توفر ميكروفون.
تلميح

يمكنك خلط وضعي الإدخال بحرية في نفس الجلسة - تحدث ببعض الرسائل، واكتب أخرى.

أزرار التكوين​

تفتح أزرار التكوين الأربعة على اليسار لوحات مخصصة لكل جزء من سير العمل:

1. تكوين التعرف على الكلام​

تكوين كيفية التقاط صوت المستخدم ونسخه:

  • اختر اللغة
  • ضبط معلمات التعرف على الكلام (إعدادات نموذج Whisper)
  • تكوين AEC (إلغاء الصدى الصوتي)
  • تكوين VAD (اكتشاف النشاط الصوتي)

شاشة تكوين التعرف على الكلام

2. تكوين روبوت المحادثة الذكي​

اختر مزود LLM الخاص بك وقم بتكوينه:

  • اختر المزود (Runtime AI Chatbot Integrator أو Runtime Local LLM)
  • بالنسبة للمزودين الخارجيين: رمز المصادقة، اسم النموذج، إلخ.
  • بالنسبة لـ LLM المحلي: اختر نموذج GGUF، عيّن حجم السياق، ومعلمات الاستدلال الأخرى. يمكنك أيضًا تنزيل نموذج GGUF خاص بك في وقت التشغيل مباشرةً من العرض (مثلاً عبر رابط URL)، واستخدامه فورًا دون إعادة بناء المشروع.
تلميح

يعرض مربع التحرير والسرد الخاص بالمزود فقط المزودين الذين يوجد مجلد وحدة الإضافة الخاصة بهم في Content/Modules/.

تكوين روبوت المحادثة الذكي - Runtime AI Chatbot Integrator (LLM خارجي)

تكوين روبوت المحادثة الذكي - Runtime Local LLM (GGUF محلي)

3. تكوين تحويل النص إلى كلام​

اختر مزود TTS وقم بتكوين الأصوات/النماذج:

  • اختر المزود (Runtime AI Chatbot Integrator لـ OpenAI/ElevenLabs، أو Runtime Text To Speech لـ Piper/Kokoro المحليين)
  • اختر الصوت/النموذج
  • ضبط المعلمات الخاصة بكل مزود

تكوين TTS - Runtime AI Chatbot Integrator (TTS خارجي)

تكوين TTS - Runtime Local Text To Speech (Piper/Kokoro محليين)

4. تكوين الرسوم المتحركة​

التحكم في مرئيات شخصية NPC الذكية الخاصة بك:

  • اختر بين 3 شخصيات MetaHuman تم تنزيلها مسبقًا (Aera، Ada، Orlando)
  • اختر نموذج تزامن الشفاه (Standard أو Realistic)
  • اختر نوع نموذج تزامن الشفاه - عالي التحسين، شبه محسّن، أو أصلي (انظر نوع النموذج)
  • اضبط حجم جزء المعالجة - يتحكم في عدد مرات تشغيل استدلال تزامن الشفاه (انظر حجم جزء المعالجة)
  • اختر رسوم متحركة خاملة لتشغيلها على MetaHuman أثناء المحادثة

شاشة تكوين الرسوم المتحركة

التكوين المسبق للعرض في المحرر​

عند العمل مع نسخة المصدر، يمكنك ملء القيم الافتراضية مسبقًا مباشرة في المحرر بحيث لا تحتاج إلى إعادة إدخالها في كل تشغيل:

ماذاأين
الإعدادات العامة (نموذج تزامن الشفاه، الرسوم المتحركة الخاملة، فئة الشخصية، التعرف على الكلام، إلخ)Content/LipSyncSTSGameInstance
إعدادات LLM الخارجي / TTS الخارجي (Runtime AI Chatbot Integrator)Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
إعدادات LLM المحلي (Runtime Local LLM)Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
إعدادات TTS المحلي (Runtime Text To Speech)Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

ملاحظات حول الأنظمة الأساسية المختلفة​

جميع الإضافات المستخدمة في العرض تدعم Windows، Mac، Linux، iOS، Android، والمنصات المبنية على Android (بما في ذلك Meta Quest)، لذا يعمل مشروع العرض على كل هذه المنصات أيضًا.

للأجهزة الأضعف (المحمولة، الواقع الافتراضي المستقل)، قد ترغب في:

  • استخدام نموذج تزامن الشفاه Standard بدلاً من Realistic - انظر مقارنة النماذج
  • التبديل إلى نوع النموذج عالي التحسين
  • زيادة حجم جزء المعالجة لتقليل حمل وحدة المعالجة المركزية
  • اختيار نماذج LLM / TTS أصغر

انظر التكوين الخاص بكل منصة للحصول على خطوات إعداد إضافية على Android، iOS، Mac، و Linux.

إحضار MetaHuman الخاص بك​

يأتي مشروع العرض مع ثلاث شخصيات MetaHuman نموذجية (Aera، Ada، Orlando)، ولكن يمكنك استيراد MetaHuman الخاص بك واستخدامه في العرض.

📺 دليل فيديو تعليمي: إضافة شخصية MetaHuman مخصصة إلى مشروع العرض

ملاحظة

إضافة Runtime MetaHuman Lip Sync نفسها تدعم العديد من أنظمة الشخصيات الأخرى بخلاف MetaHumans (الشخصيات المبنية على ARKit، Daz Genesis 8/9، Reallusion CC3/CC4، Mixamo، ReadyPlayerMe، إلخ - انظر دليل إعداد الشخصيات المخصصة).

ملاحظات حول Standard Lip Sync Model​

إذا كنت تخطط لاستخدام Standard Model (بدلاً من Realistic) في أي من مشروعي العرض، فستحتاج إلى تثبيت Standard Lip Sync Extension plugin. انظر Standard Model Extension للحصول على تعليمات التثبيت.

هل تحتاج مساعدة؟​

إذا واجهت أي مشكلات في إعداد أو تشغيل مشاريع العرض، فلا تتردد في التواصل:

Join our Discord
online · support

بالنسبة لطلبات التطوير المخصصة (على سبيل المثال، توسيع العرض التوضيحي باستخدام منطقك الخاص، أو تكييفه لمنصة معينة أو خط أنابيب شخصيات)، اتصل بـ [email protected].