मुख्य कंटेंट तक स्किप करें

ऑडियो प्रोसेसिंग गाइड

यह गाइड आपके लिप सिंक जनरेटरों को ऑडियो डेटा फीड करने के लिए विभिन्न ऑडियो इनपुट विधियों को सेट अप करने का तरीका कवर करती है। आगे बढ़ने से पहले सुनिश्चित करें कि आपने सेटअप गाइड पूरा कर लिया है।

ऑडियो इनपुट प्रोसेसिंग​

आपको ऑडियो इनपुट को प्रोसेस करने की एक विधि सेट अप करने की आवश्यकता है। यह आपके ऑडियो स्रोत के आधार पर कई तरीकों से किया जा सकता है।

यह दृष्टिकोण माइक्रोफोन में बोलते समय रियल-टाइम में लिप सिंक करता है:

  1. Runtime Audio Importer का उपयोग करके एक Capturable Sound Wave बनाएं
  2. ऑडियो कैप्चर करना शुरू करने से पहले, OnPopulateAudioData डेलीगेट से बाइंड करें
  3. बाउंड फ़ंक्शन में, अपने Runtime Viseme Generator से ProcessAudioData को कॉल करें
  4. माइक्रोफोन से ऑडियो कैप्चर करना शुरू करें

कॉपी करने योग्य नोड्स.

ऑडियो कैप्चर के दौरान लिप सिंक

प्रसंस्करण प्रदर्शन युक्तियाँ​

  • चंक आकार: यदि आप अधिक उत्तरदायी लिप सिंक के लिए छोटे चंक में ऑडियो डेटा प्रोसेस करना चाहते हैं, तो SetNumSamplesPerChunk फ़ंक्शन में गणना समायोजित करें। उदाहरण के लिए, सैंपल रेट को 100 (हर 10 ms पर स्ट्रीमिंग) के बजाय 150 से विभाजित करने पर (हर ~6.67 ms पर स्ट्रीमिंग) अधिक बार लिप सिंक अपडेट प्रदान करेगा।

  • बफ़र प्रबंधन: मूड-सक्षम मॉडल ऑडियो को 320-सैंपल फ़्रेम (16kHz पर 20ms) में प्रोसेस करता है। इष्टतम प्रदर्शन के लिए सुनिश्चित करें कि आपका ऑडियो इनपुट टाइमिंग इसके साथ संरेखित हो।

  • जनरेटर पुनर्निर्माण: रियलिस्टिक मॉडल के साथ विश्वसनीय संचालन के लिए, निष्क्रियता की अवधि के बाद नए ऑडियो डेटा को फ़ीड करना चाहते हैं तो हर बार जनरेटर को फिर से बनाएँ।

अगले कदम​

एक बार जब आपके पास ऑडियो प्रसंस्करण सेटअप हो जाए, तो आप चाह सकते हैं:

  • अपने लिप सिंक व्यवहार को ठीक-ट्यून करने के लिए कॉन्फ़िगरेशन विकल्पों के बारे में जानें
  • बढ़ी हुई अभिव्यक्ति के लिए हँसी एनीमेशन जोड़ें
  • कॉन्फ़िगरेशन गाइड में वर्णित लेयरिंग तकनीकों का उपयोग करके मौजूदा चेहरे के एनीमेशन के साथ लिप सिंक को संयोजित करें