دليل معالجة الصوت

يغطي هذا الدليل كيفية إعداد طرق إدخال صوتية مختلفة لتغذية بيانات الصوت إلى مولدات مزامنة الشفاه الخاصة بك. تأكد من إكمال دليل الإعداد قبل المتابعة.

معالجة إدخال الصوت

تحتاج إلى إعداد طريقة لمعالجة إدخال الصوت. هناك عدة طرق للقيام بذلك اعتمادًا على مصدر الصوت الخاص بك.

الميكروفون (في الوقت الحقيقي)

يقوم هذا النهج بأداء مزامنة الشفاه في الوقت الحقيقي أثناء التحدث في الميكروفون:

النموذج القياسي

1. قم بإنشاء Capturable Sound Wave باستخدام Runtime Audio Importer
   • بالنسبة لنظام Linux مع Pixel Streaming، استخدم Pixel Streaming Capturable Sound Wave بدلاً من ذلك
2. قبل البدء في التقاط الصوت، قم بالربط مع مندوب OnPopulateAudioData
3. في الوظيفة المرتبطة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك
4. ابدأ في التقاط الصوت من الميكروفون

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

الميكروفون (إعادة التشغيل)

يقوم هذا النهج بالتقاط الصوت من ميكروفون، ثم يعيد تشغيله مع مزامنة الشفاه:

النموذج القياسي

1. قم بإنشاء Capturable Sound Wave باستخدام Runtime Audio Importer
   • بالنسبة لنظام Linux مع Pixel Streaming، استخدم Pixel Streaming Capturable Sound Wave بدلاً من ذلك
2. ابدأ في التقاط الصوت من الميكروفون
3. قبل إعادة تشغيل Capturable Sound Wave، قم بالربط مع مندوبه OnGeneratePCMData
4. في الوظيفة المرتبطة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

تحويل النص إلى كلام (محلي)

عادي

يقوم هذا النهج بتركيب الكلام من النص باستخدام TTS محلي ويقوم بأداء مزامنة الشفاه:

النموذج القياسي

1. استخدم Runtime Text To Speech لتوليد الكلام من النص
2. استخدم Runtime Audio Importer لاستيراد الصوت المركب
3. قبل إعادة تشغيل الصوت المستورد، قم بالربط مع مندوبه OnGeneratePCMData
4. في الوظيفة المرتبطة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

بث

يستخدم هذا النهج تركيب تحويل النص إلى كلام بالبث مع مزامنة الشفاه في الوقت الحقيقي:

النموذج القياسي

1. استخدم Runtime Text To Speech لتوليد كلام بالبث من النص
2. استخدم Runtime Audio Importer لاستيراد الصوت المركب
3. قبل إعادة تشغيل الصوت بالبث، قم بالربط مع مندوبه OnGeneratePCMData
4. في الوظيفة المرتبطة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

تحويل النص إلى كلام (واجهات برمجة تطبيقات خارجية)

عادي

يستخدم هذا النهج إضافة Runtime AI Chatbot Integrator لتوليد كلام مركب من خدمات الذكاء الاصطناعي (OpenAI أو ElevenLabs) وأداء مزامنة الشفاه:

النموذج القياسي

1. استخدم Runtime AI Chatbot Integrator لتوليد الكلام من النص باستخدام واجهات برمجة تطبيقات خارجية (OpenAI، ElevenLabs، إلخ.)
2. استخدم Runtime Audio Importer لاستيراد بيانات الصوت المركبة
3. قبل إعادة تشغيل الصوت المستورد، قم بالربط مع مندوبه OnGeneratePCMData
4. في الوظيفة المرتبطة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

بث

يستخدم هذا النهج إضافة Runtime AI Chatbot Integrator لتوليد كلام مركب بالبث من خدمات الذكاء الاصطناعي (OpenAI أو ElevenLabs) وأداء مزامنة الشفاه:

النموذج القياسي

1. استخدم Runtime AI Chatbot Integrator للاتصال بواجهات برمجة تطبيقات TTS بالبث (مثل ElevenLabs Streaming API)
2. استخدم Runtime Audio Importer لاستيراد بيانات الصوت المركبة
3. قبل إعادة تشغيل الصوت بالبث، قم بالربط مع مندوبه OnGeneratePCMData
4. في الوظيفة المرتبطة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

من ملف/مخزن مؤقت للصوت

يستخدم هذا النهج ملفات صوت مسجلة مسبقًا أو مخازن مؤقتة للصوت لمزامنة الشفاه:

النموذج القياسي

1. استخدم Runtime Audio Importer لاستيراد ملف صوت من القرص أو الذاكرة
2. قبل إعادة تشغيل الصوت المستورد، قم بالربط مع مندوبه OnGeneratePCMData
3. في الوظيفة المرتبطة، استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك
4. شغل الصوت المستورد ولاحظ حركة مزامنة الشفاه

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

مخزن مؤقت للصوت بالبث

لبيانات الصوت بالبث من مخزن مؤقت، تحتاج إلى:

النموذج القياسي

1. بيانات صوت بتنسيق PCM عائم (مصفوفة من عينات النقطة العائمة) متاحة من مصدر البث الخاص بك (أو استخدم Runtime Audio Importer لدعم المزيد من التنسيقات)
2. معدل العينات وعدد القنوات
3. استدعِ ProcessAudioData من Runtime Viseme Generator الخاص بك مع هذه المعلمات عند توفر أجزاء الصوت

عقد قابلة للنسخ.

النموذج الواقعي

يستخدم النموذج الواقعي نفس سير عمل معالجة الصوت مثل النموذج القياسي، ولكن مع متغير RealisticLipSyncGenerator بدلاً من VisemeGenerator.

عقد قابلة للنسخ.

النموذج الواقعي المدعوم بالمزاج

يستخدم النموذج المدعوم بالمزاج نفس سير عمل معالجة الصوت، ولكن مع متغير MoodMetaHumanLipSyncGenerator وقدرات تكوين مزاج إضافية.

عقد قابلة للنسخ.

ملاحظة: عند استخدام مصادر صوت بالبث، تأكد من إدارة توقيت تشغيل الصوت بشكل مناسب لتجنب تشويه التشغيل. راجع توثيق Streaming Sound Wave لمزيد من المعلومات.

نصائح أداء المعالجة

• حجم الجزء: إذا كنت تريد معالجة بيانات الصوت في أجزاء أصغر لمزامنة شفاه أكثر استجابة، اضبط الحساب في وظيفة SetNumSamplesPerChunk. على سبيل المثال، قسمة معدل العينات على 150 (بث كل ~6.67 مللي ثانية) بدلاً من 100 (بث كل 10 مللي ثانية) سيوفر تحديثات مزامنة شفاه أكثر تكرارًا.

• إدارة المخزن المؤقت: يعالج النموذج المدعوم بالمزاج الصوت في إطارات مكونة من 320 عينة (20 مللي ثانية عند 16 كيلو هرتز). تأكد من محاذاة توقيت إدخال الصوت الخاص بك مع هذا للحصول على أداء مثالي.

• إعادة إنشاء المولد: لتشغيل موثوق مع النماذج الواقعية، أعد إنشاء المولد في كل مرة تريد فيها تغذية بيانات صوت جديدة بعد فترة من عدم النشاط.

الخطوات التالية

بمجرد إعداد معالجة الصوت، قد ترغب في:

• التعرف على خيارات التكوين لضبط سلوك مزامنة الشفاه الخاص بك
• إضافة حركة الضحك لتحسين التعبير
• دمج مزامنة الشفاه مع حركات الوجه الحالية باستخدام تقنيات الطبقات الموضحة في دليل التكوين