मुख्य कंटेंट तक स्किप करें

ऑडियो प्रसंस्करण गाइड

यह गाइड आपके लिप सिंक जनरेटरों को ऑडियो डेटा फीड करने के लिए विभिन्न ऑडियो इनपुट विधियों को सेट अप करने का तरीका कवर करती है। आगे बढ़ने से पहले सुनिश्चित करें कि आपने सेटअप गाइड पूरा कर लिया है।

ऑडियो इनपुट प्रसंस्करण​

आपको ऑडियो इनपुट को प्रोसेस करने की एक विधि सेट अप करने की आवश्यकता है। यह आपके ऑडियो स्रोत के आधार पर कई तरीकों से किया जा सकता है।

यह दृष्टिकोण माइक्रोफोन में बोलते समय रियल-टाइम में लिप सिंक करता है:

  1. Runtime Audio Importer का उपयोग करके एक Capturable Sound Wave बनाएं
  2. ऑडियो कैप्चर करना शुरू करने से पहले, OnPopulateAudioData डेलीगेट से बाइंड करें
  3. बाउंड फ़ंक्शन में, अपने Runtime Viseme Generator से ProcessAudioData को कॉल करें
  4. माइक्रोफोन से ऑडियो कैप्चर करना शुरू करें

कॉपी करने योग्य नोड्स.

लिप सिंक ड्यूरिंग ऑडियो कैप्चर

प्रोसेसिंग परफॉर्मेंस टिप्स​

  • चंक साइज़: यदि आप अधिक रिस्पॉन्सिव लिप सिंक के लिए छोटे चंक्स में ऑडियो डेटा प्रोसेस करना चाहते हैं, तो SetNumSamplesPerChunk फ़ंक्शन में गणना को एडजस्ट करें। उदाहरण के लिए, सैंपल रेट को 100 (हर 10 ms स्ट्रीमिंग) के बजाय 150 से विभाजित करने पर (हर ~6.67 ms स्ट्रीमिंग) अधिक बार लिप सिंक अपडेट प्रदान करेगा।

  • बफ़र प्रबंधन: मूड-सक्षम मॉडल ऑडियो को 320-सैंपल फ़्रेम्स (16kHz पर 20ms) में प्रोसेस करता है। इष्टतम प्रदर्शन के लिए सुनिश्चित करें कि आपकी ऑडियो इनपुट टाइमिंग इसके साथ संरेखित हो।

  • जनरेटर पुनर्निर्माण: Realistic मॉडल्स के साथ विश्वसनीय ऑपरेशन के लिए, निष्क्रियता की अवधि के बाद नए ऑडियो डेटा को फ़ीड करना चाहते हैं तो हर बार जनरेटर को फिर से बनाएँ।

अगले कदम​

एक बार जब आप ऑडियो प्रोसेसिंग सेट अप कर लेते हैं, तो आप चाह सकते हैं:

  • अपने लिप सिंक व्यवहार को फाइन-ट्यून करने के लिए कॉन्फ़िगरेशन विकल्पों के बारे में जानें
  • बढ़ी हुई अभिव्यक्ति के लिए हँसी एनीमेशन जोड़ें
  • कॉन्फ़िगरेशन गाइड में वर्णित लेयरिंग तकनीकों का उपयोग करके लिप सिंक को मौजूदा फेशियल एनीमेशन के साथ संयोजित करें