मुख्य कंटेंट तक स्किप करें

ऑडियो प्रोसेसिंग गाइड

यह गाइड आपके लिप सिंक जेनरेटरों को ऑडियो डेटा फीड करने के लिए विभिन्न ऑडियो इनपुट विधियों को सेट अप करने के तरीके को कवर करती है। आगे बढ़ने से पहले सुनिश्चित करें कि आपने सेटअप गाइड पूरा कर लिया है।

ऑडियो इनपुट प्रोसेसिंग​

आपको ऑडियो इनपुट को प्रोसेस करने के लिए एक विधि सेट अप करने की आवश्यकता है। यह आपके ऑडियो स्रोत के आधार पर कई तरीकों से किया जा सकता है।

यह दृष्टिकोण माइक्रोफोन में बोलते समय रियल-टाइम में लिप सिंक करता है:

  1. रनटाइम ऑडियो इम्पोर्टर का उपयोग करके एक कैप्चर करने योग्य साउंड वेव बनाएं
  2. ऑडियो कैप्चर करना शुरू करने से पहले, OnPopulateAudioData डेलिगेट से बाइंड करें
  3. बाउंड फ़ंक्शन में, अपने रनटाइम विसेम जेनरेटर से ProcessAudioData को कॉल करें
  4. माइक्रोफोन से ऑडियो कैप्चर करना शुरू करें

कॉपी करने योग्य नोड्स.

ऑडियो कैप्चर के दौरान लिप सिंक

प्रोसेसिंग परफॉर्मेंस टिप्स​

  • चंक साइज़: यदि आप अधिक रिस्पॉन्सिव लिप सिंक के लिए छोटे चंक में ऑडियो डेटा प्रोसेस करना चाहते हैं, तो SetNumSamplesPerChunk फ़ंक्शन में गणना को एडजस्ट करें। उदाहरण के लिए, सैंपल रेट को 100 (हर 10 ms पर स्ट्रीमिंग) के बजाय 150 से विभाजित करने पर (हर ~6.67 ms पर स्ट्रीमिंग) अधिक बार लिप सिंक अपडेट प्रदान करेगा।

  • बफ़र प्रबंधन: मूड-सक्षम मॉडल 320-सैंपल फ़्रेम (16kHz पर 20ms) में ऑडियो प्रोसेस करता है। इष्टतम प्रदर्शन के लिए सुनिश्चित करें कि आपकी ऑडियो इनपुट टाइमिंग इसके साथ संरेखित हो।

  • जनरेटर पुनर्निर्माण: Realistic मॉडल के साथ विश्वसनीय ऑपरेशन के लिए, निष्क्रियता की अवधि के बाद नए ऑडियो डेटा को फ़ीड करना चाहते हैं तो हर बार जनरेटर को पुनः बनाएँ।

अगले कदम​

एक बार जब आप ऑडियो प्रोसेसिंग सेट अप कर लेते हैं, तो आप चाह सकते हैं:

  • अपने लिप सिंक व्यवहार को फ़ाइन-ट्यून करने के लिए Configuration options के बारे में जानें
  • बढ़ी हुई अभिव्यक्ति के लिए laughter animation जोड़ें
  • कॉन्फ़िगरेशन गाइड में वर्णित लेयरिंग तकनीकों का उपयोग करके मौजूदा फेशियल एनिमेशन के साथ लिप सिंक को संयोजित करें