دليل معالجة الصوت

يغطي هذا الدليل كيفية إعداد طرق إدخال صوتية مختلفة لتغذية بيانات الصوت إلى مولدات مزامنة الشفاه. تأكد من إكمال دليل الإعداد قبل المتابعة.

معالجة إدخال الصوت

تحتاج إلى إعداد طريقة لمعالجة إدخال الصوت. هناك عدة طرق للقيام بذلك اعتمادًا على مصدر الصوت الخاص بك.

الميكروفون (في الوقت الحقيقي)

يقوم هذا النهج بمزامنة الشفاه في الوقت الحقيقي أثناء التحدث في الميكروفون:

النموذج القياسي

1. أنشئ Capturable Sound Wave باستخدام Runtime Audio Importer
   • بالنسبة لنظام Linux مع Pixel Streaming، استخدم Pixel Streaming Capturable Sound Wave بدلاً من ذلك
2. قبل البدء في التقاط الصوت، قم بربط مندوب OnPopulateAudioData
3. في الوظيفة المقيدة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك
4. ابدأ في التقاط الصوت من الميكروفون

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

الميكروفون (إعادة التشغيل)

يقوم هذا النهج بالتقاط الصوت من ميكروفون، ثم يعيد تشغيله مع مزامنة الشفاه:

النموذج القياسي

1. أنشئ Capturable Sound Wave باستخدام Runtime Audio Importer
   • بالنسبة لنظام Linux مع Pixel Streaming، استخدم Pixel Streaming Capturable Sound Wave بدلاً من ذلك
2. ابدأ في التقاط الصوت من الميكروفون
3. قبل إعادة تشغيل Capturable Sound Wave، قم بربط مندوب OnGeneratePCMData الخاص به
4. في الوظيفة المقيدة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

تحويل النص إلى كلام (محلي)

عادي

يقوم هذا النهج بتوليف الكلام من النص باستخدام TTS محلي ويقوم بمزامنة الشفاه:

النموذج القياسي

1. استخدم Runtime Text To Speech لتوليف الكلام من النص
2. استخدم Runtime Audio Importer لاستيراد الصوت المُولَّف
3. قبل إعادة تشغيل Sound Wave المستورد، قم بربط مندوب OnGeneratePCMData الخاص به
4. في الوظيفة المقيدة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

البث

يقوم هذا النهج باستخدام توليف تحويل النص إلى كلام مع البث ومزامنة الشفاه في الوقت الحقيقي:

النموذج القياسي

1. استخدم Runtime Text To Speech لتوليف كلام مع البث من النص
2. استخدم Runtime Audio Importer لاستيراد الصوت المُولَّف
3. قبل إعادة تشغيل Streaming Sound Wave، قم بربط مندوب OnGeneratePCMData الخاص به
4. في الوظيفة المقيدة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

تحويل النص إلى كلام (واجهات برمجة تطبيقات خارجية)

عادي

يقوم هذا النهج باستخدام مكون Runtime AI Chatbot Integrator الإضافي لتوليف الكلام من خدمات الذكاء الاصطناعي (OpenAI أو ElevenLabs) وإجراء مزامنة الشفاه:

النموذج القياسي

1. استخدم Runtime AI Chatbot Integrator لتوليف الكلام من النص باستخدام واجهات برمجة تطبيقات خارجية (OpenAI، ElevenLabs، إلخ.)
2. استخدم Runtime Audio Importer لاستيراد بيانات الصوت المُولَّفة
3. قبل إعادة تشغيل Sound Wave المستورد، قم بربط مندوب OnGeneratePCMData الخاص به
4. في الوظيفة المقيدة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

البث

يقوم هذا النهج باستخدام مكون Runtime AI Chatbot Integrator الإضافي لتوليف كلام مع البث من خدمات الذكاء الاصطناعي (OpenAI أو ElevenLabs) وإجراء مزامنة الشفاه:

النموذج القياسي

1. استخدم Runtime AI Chatbot Integrator للاتصال بواجهات برمجة تطبيقات TTS مع البث (مثل ElevenLabs Streaming API)
2. استخدم Runtime Audio Importer لاستيراد بيانات الصوت المُولَّفة
3. قبل إعادة تشغيل Streaming Sound Wave، قم بربط مندوب OnGeneratePCMData الخاص به
4. في الوظيفة المقيدة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

من ملف/مخزن مؤقت للصوت

يستخدم هذا النهز ملفات صوت مسجلة مسبقًا أو مخازن مؤقتة للصوت لمزامنة الشفاه:

النموذج القياسي

1. استخدم Runtime Audio Importer لـاستيراد ملف صوت من القرص أو الذاكرة
2. قبل إعادة تشغيل Sound Wave المستورد، قم بربط مندوب OnGeneratePCMData الخاص به
3. في الوظيفة المقيدة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك
4. شغل Sound Wave المستورد ولاحظ حركة مزامنة الشفاه

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

مخزن مؤقت للصوت مع البث

لبيانات الصوت مع البث من مخزن مؤقت، تحتاج إلى:

النموذج القياسي

1. بيانات صوت بتنسيق PCM عائم (مصفوفة من عينات النقطة العائمة) متاحة من مصدر البث الخاص بك (أو استخدم Runtime Audio Importer لدعم المزيد من التنسيقات)
2. معدل العينات وعدد القنوات
3. استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك مع هذه المعلمات عند توفر مقاطع الصوت

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

ملاحظة: عند استخدام مصادر صوت مع البث، تأكد من إدارة توقيت تشغيل الصوت بشكل مناسب لتجنب تشويه التشغيل. راجع توثيق Streaming Sound Wave لمزيد من المعلومات.

نصائح أداء المعالجة

• حجم المقطع: يمكن أن يؤدي زيادة خيار التكوين ProcessingChunkSize (على سبيل المثال إلى 320 أو 480 أو 640 عينة) إلى تحسين زمن الوصول بشكل ملحوظ مع تأثير ضئيل على الجودة أو الاستجابة.

• نوع النموذج: عند استخدام النماذج الواقعية، يمكن أن يؤدي التبديل إلى نوع النموذج المُحسَّن للغاية (المحدد افتراضيًا) إلى تحسين الأداء. لاحظ أن النموذج الأصلي قد ينتج جودة أفضل قليلاً، خاصة مع الصوت المشوش.

• إدارة المخزن المؤقت: يعالج النموذج المدعوم بالمزاج الصوت في إطارات من 320 عينة (20 مللي ثانية عند 16 كيلو هرتز). تأكد من محاذاة توقيت إدخال الصوت الخاص بك مع هذا للحصول على أداء مثالي.

• إعادة إنشاء المولد: للتشغيل الموثوق مع النماذج الواقعية، أعد إنشاء المولد في كل مرة تريد فيها تغذية بيانات صوت جديدة بعد فترة من الخمول.

الخطوات التالية

بمجرد إعداد معالجة الصوت، قد ترغب في:

• التعرف على خيارات التكوين لضبط سلوك مزامنة الشفاه الخاص بك
• إضافة حركة الضحك لتحسين التعبير
• دمج مزامنة الشفاه مع حركات الوجه الحالية باستخدام تقنيات الطبقة الموضحة في دليل التكوين