मुख्य कंटेंट तक स्किप करें

अवलोकन

रनटाइम मेटाह्यूमन लिप सिंक डॉक्यूमेंटेशन

रनटाइम मेटाह्यूमन लिप सिंक एक प्लगइन है जो मेटाह्यूमन और कस्टम दोनों प्रकार के कैरेक्टर्स के लिए रियल-टाइम, ऑफ़लाइन और क्रॉस-प्लेटफ़ॉर्म लिप सिंक सक्षम करता है। यह आपको विभिन्न स्रोतों से ऑडियो इनपुट के जवाब में किसी कैरेक्टर के होंठों को एनिमेट करने की अनुमति देता है, जिनमें शामिल हैं:

प्लगइन आंतरिक रूप से ऑडियो इनपुट के आधार पर विसेम (फोनेम के दृश्य प्रतिनिधित्व) उत्पन्न करता है। चूंकि यह सीधे टेक्स्ट के बजाय ऑडियो डेटा के साथ काम करता है, प्लगइन अंग्रेजी, स्पेनिश, फ्रेंच, जर्मन, जापानी, चीनी, कोरियाई, रूसी, इतालवी, पुर्तगाली, अरबी और हिंदी सहित, लेकिन इन्हीं तक सीमित नहीं, बहुभाषी इनपुट का समर्थन करता है। सचमुच कोई भी भाषा समर्थित है क्योंकि लिप सिंक भाषा-विशिष्ट टेक्स्ट प्रोसेसिंग के बजाय ऑडियो फोनेम से उत्पन्न होता है।

स्टैंडर्ड मॉडल 14 विसेम उत्पन्न करता है और एक पूर्वनिर्धारित पोज़ एसेट का उपयोग करके लिप सिंक एनीमेशन करता है। इसके विपरीत, यथार्थवादी मॉडल (विशेष रूप से मेटाह्यूमन कैरेक्टर्स के लिए) एक पूर्वनिर्धारित पोज़ एसेट पर निर्भर किए बिना 81 चेहरे के नियंत्रण परिवर्तन उत्पन्न करते हैं, जिसके परिणामस्वरूप काफी अधिक यथार्थवादी चेहरे की एनिमेशन प्राप्त होती है।

कैरेक्टर संगतता​

इसके नाम के बावजूद, रनटाइम मेटाह्यूमन लिप सिंक केवल मेटाह्यूमन से परे कैरेक्टर्स की एक विस्तृत श्रृंखला के साथ काम करता है:

लोकप्रिय वाणिज्यिक कैरेक्टर सिस्टम​

  • Daz Genesis 8/9 कैरेक्टर्स
  • Reallusion Character Creator 3/4 (CC3/CC4) कैरेक्टर्स
  • Mixamo कैरेक्टर्स
  • ReadyPlayerMe अवतार

एनीमेशन मानक समर्थन​

  • FACS-आधारित ब्लेंडशेप सिस्टम
  • Apple ARKit ब्लेंडशेप मानक
  • Preston Blair फोनेम सेट
  • 3ds Max फोनेम सिस्टम
  • चेहरे के भावों के लिए कस्टम मॉर्फ टार्गेट वाला कोई भी कैरेक्टर

गैर-मेटाह्यूमन कैरेक्टर्स के साथ प्लगइन का उपयोग करने के विस्तृत निर्देशों के लिए, कस्टम कैरेक्टर सेटअप गाइड देखें।

एनीमेशन पूर्वावलोकन​

विभिन्न कैरेक्टर प्रकारों और मॉडलों में प्लगइन द्वारा उत्पादित लिप सिंक एनीमेशन की गुणवत्ता देखने के लिए इन छोटी एनिमेशन को देखें:

मेटाह्यूमन कैरेक्टर के साथ यथार्थवादी मॉडल
मेटाह्यूमन कैरेक्टर के साथ मानक मॉडल
कस्टम कैरेक्टर के साथ मानक मॉडल
कस्टम कैरेक्टर के साथ स्टैंडर्ड मॉडल

प्रमुख विशेषताएं​

  • माइक्रोफोन इनपुट से रियल-टाइम लिप सिंक
  • ऑफ़लाइन ऑडियो प्रोसेसिंग समर्थन
  • मॉडल-विशिष्ट प्लेटफ़ॉर्म समर्थन के साथ क्रॉस-प्लेटफ़ॉर्म संगतता
  • एकाधिक कैरेक्टर सिस्टम और एनीमेशन मानकों के लिए समर्थन
  • कस्टम कैरेक्टर्स के लिए लचीला विसेम मैपिंग
  • सार्वभौमिक भाषा समर्थन - ऑडियो विश्लेषण के माध्यम से किसी भी बोली जाने वाली भाषा के साथ काम करता है
  • बढ़ी हुई अभिव्यक्ति के लिए मूड-अवेयर फेशियल एनीमेशन
  • कॉन्फ़िगरेबल आउटपुट प्रकार (पूरा चेहरा या केवल मुंह नियंत्रण)

लिप सिंक मॉडल​

प्लगइन विभिन्न प्रोजेक्ट आवश्यकताओं के अनुरूप कई लिप सिंक मॉडल प्रदान करता है:

स्टैंडर्ड लिप सिंक मॉडल व्यापक कैरेक्टर संगतता के साथ कुशल, क्रॉस-प्लेटफ़ॉर्म प्रदर्शन प्रदान करता है:

  • मेटाह्यूमन और सभी कस्टम कैरेक्टर प्रकारों के साथ काम करता है
  • रियल-टाइम प्रदर्शन के लिए अनुकूलित
  • कम संसाधन आवश्यकताएँ
  • प्लेटफ़ॉर्म समर्थन: विंडोज, एंड्रॉइड, एंड्रॉइड-आधारित प्लेटफ़ॉर्म (मेटा क्वेस्ट सहित)
एक्सटेंशन प्लगइन आवश्यक

स्टैंडर्ड मॉडल का उपयोग करने के लिए, आपको एक अतिरिक्त एक्सटेंशन प्लगइन इंस्टॉल करने की आवश्यकता है। इंस्टॉलेशन निर्देशों के लिए पूर्वापेक्षाएँ अनुभाग देखें।

आप प्रदर्शन, कैरेक्टर संगतता, दृश्य गुणवत्ता, लक्षित प्लेटफ़ॉर्म और सुविधा आवश्यकताओं के आधार पर अपनी परियोजना की आवश्यकताओं के अनुरूप उपयुक्त मॉडल चुन सकते हैं।

यह कैसे काम करता है​

प्लगइन निम्नलिखित तरीके से ऑडियो इनपुट को प्रोसेस करता है:

  1. ऑडियो डेटा निर्दिष्ट चैनल और सैंपल रेट के साथ फ्लोट PCM फॉर्मेट के रूप में प्राप्त होता है
  2. प्लगइन मॉडल के आधार पर फेशियल कंट्रोल डेटा या विसेम उत्पन्न करने के लिए ऑडियो को प्रोसेस करता है
  3. मूड-सक्षम मॉडल के लिए, भावनात्मक संदर्भ फेशियल एनीमेशन पर लागू किया जाता है
  4. एनीमेशन डेटा रियल-टाइम में कैरेक्टर की चेहरे की गतियों को संचालित करता है

प्रदर्शन आर्किटेक्चर​

Runtime MetaHuman Lip Sync रियल-टाइम अनुप्रयोगों के लिए उपयुक्त सुसंगत, कम-विलंबता वाले लिप सिंक परिणाम देने के लिए CPU-ओनली इनफेरेंस का उपयोग करता है। डिफ़ॉल्ट रूप से, प्लगइन हर 10 मिलीसेकंड में लिप सिंक प्रोसेसिंग करता है (समायोज्य - सभी उपलब्ध सेटिंग्स सहित प्रोसेसिंग चंक साइज़, थ्रेड काउंट, और अन्य प्रदर्शन पैरामीटर्स के लिए प्लगइन कॉन्फ़िगरेशन देखें)।

मॉडल आर्किटेक्चर अवलोकन​

लिप सिंक मॉडल एक कॉम्पैक्ट ट्रांसफॉर्मर-आधारित न्यूरल नेटवर्क का उपयोग करते हैं जो मेल-स्पेक्ट्रोग्राम विश्लेषण के माध्यम से ऑडियो को प्रोसेस करता है। यह हल्का आर्किटेक्चर विशेष रूप से कुशल CPU इनफेरेंस और न्यूनतम मेमोरी फुटप्रिंट के साथ रियल-टाइम प्रदर्शन के लिए डिज़ाइन किया गया है।

CPU इनफेरेंस क्यों?​

रियल-टाइम लिप सिंक जैसे छोटे, लगातार इनफेरेंस ऑपरेशनों के लिए, CPU प्रोसेसिंग GPU की तुलना में बेहतर विलंबता विशेषताएँ प्रदान करती है। बैच साइज़ 1 के साथ 10-100ms इनफेरेंस अंतराल पर, PCIe ट्रांसफर और कर्नेल लॉन्च से GPU ओवरहेड अक्सर वास्तविक कंप्यूट समय से अधिक हो जाता है। इसके अतिरिक्त, गेम इंजन में GPU पहले से ही रेंडरिंग, शेडर्स और फिजिक्स से संतृप्त होता है, जो अप्रत्याशित विलंबता स्पाइक्स पैदा करने वाले संसाधन प्रतिस्पर्धा का निर्माण करता है।

हार्डवेयर संगतता​

प्लगइन डेस्कटॉप, मोबाइल और VR प्लेटफ़ॉर्म पर रियल-टाइम प्रदर्शन प्रदान करते हुए समर्पित ग्राफिक्स हार्डवेयर की आवश्यकता के बिना अधिकांश मिड-टियर और उच्चतर CPUs पर कुशलता से काम करता है। कमजोर हार्डवेयर के लिए, आप मॉडल टाइप को सेमी-ऑप्टिमाइज्ड या हाइली ऑप्टिमाइज्ड में समायोजित कर सकते हैं, या थोड़ी कम प्रतिक्रियाशीलता के साथ रियल-टाइम प्रदर्शन बनाए रखने के लिए प्रोसेसिंग चंक साइज़ बढ़ा सकते हैं।

त्वरित प्रारंभ​

अपने कैरेक्टर पर लिप सिंक सक्षम करने के लिए यहाँ एक बुनियादी सेटअप है:

  1. मेटाह्यूमन कैरेक्टर्स के लिए, सेटअप गाइड का पालन करें
  2. कस्टम कैरेक्टर्स के लिए, कस्टम कैरेक्टर सेटअप गाइड का पालन करें
  3. अपने पसंदीदा लिप सिंक मॉडल को चुनें और कॉन्फ़िगर करें
  4. अपने Blueprint में ऑडियो इनपुट प्रोसेसिंग सेट अप करें
  5. एनीमेशन Blueprint में उपयुक्त लिप सिंक नोड कनेक्ट करें
  6. ऑडियो चलाएं और अपने कैरेक्टर को भावना के साथ बोलते हुए देखें!

अतिरिक्त संसाधन​

📦 डाउनलोड और लिंक​

डेमो प्रोजेक्ट्स:

🎥 वीडियो ट्यूटोरियल्स​

फीचर्ड डेमो:​

यथार्थवादी मॉडल (उच्च-गुणवत्ता) ट्यूटोरियल्स:​

स्टैंडर्ड मॉडल ट्यूटोरियल्स:​

सामान्य सेटअप:​

💬 समर्थन​