मुख्य कंटेंट तक स्किप करें

अवलोकन

रनटाइम मेटाह्यूमन लिप सिंक डॉक्यूमेंटेशन

रनटाइम मेटाह्यूमन लिप सिंक एक प्लगइन है जो मेटाह्यूमन और कस्टम दोनों प्रकार के कैरेक्टर्स के लिए रियल-टाइम, ऑफ़लाइन और क्रॉस-प्लेटफ़ॉर्म लिप सिंक सक्षम करता है। यह आपको विभिन्न स्रोतों से ऑडियो इनपुट के जवाब में किसी कैरेक्टर के होंठों को एनिमेट करने की अनुमति देता है, जिनमें शामिल हैं:

प्लगइन आंतरिक रूप से ऑडियो इनपुट के आधार पर विसेम (फोनेम के दृश्य प्रतिनिधित्व) उत्पन्न करता है। चूंकि यह सीधे टेक्स्ट के बजाय ऑडियो डेटा के साथ काम करता है, प्लगइन अंग्रेजी, स्पेनिश, फ्रेंच, जर्मन, जापानी, चीनी, कोरियाई, रूसी, इतालवी, पुर्तगाली, अरबी और हिंदी सहित, लेकिन इन्हीं तक सीमित नहीं, बहुभाषी इनपुट का समर्थन करता है। सचमुच कोई भी भाषा समर्थित है क्योंकि लिप सिंक ऑडियो फोनेम से उत्पन्न होता है न कि भाषा-विशिष्ट टेक्स्ट प्रोसेसिंग से।

स्टैंडर्ड मॉडल 14 विसेम उत्पन्न करता है और एक पूर्वनिर्धारित पोज़ एसेट का उपयोग करके लिप सिंक एनीमेशन करता है। इसके विपरीत, यथार्थवादी मॉडल (विशेष रूप से मेटाह्यूमन कैरेक्टर्स के लिए) एक पूर्वनिर्धारित पोज़ एसेट पर निर्भर किए बिना 81 फेशियल कंट्रोल परिवर्तन उत्पन्न करते हैं, जिसके परिणामस्वरूप काफी अधिक यथार्थवादी चेहरे की एनिमेशन होती हैं।

कैरेक्टर संगतता​

इसके नाम के बावजूद, रनटाइम मेटाह्यूमन लिप सिंक केवल मेटाह्यूमन से परे कैरेक्टर्स की एक विस्तृत श्रृंखला के साथ काम करता है:

लोकप्रिय वाणिज्यिक कैरेक्टर सिस्टम​

  • Daz Genesis 8/9 कैरेक्टर्स
  • Reallusion Character Creator 3/4 (CC3/CC4) कैरेक्टर्स
  • Mixamo कैरेक्टर्स
  • ReadyPlayerMe अवतार

एनीमेशन मानक समर्थन​

  • FACS-आधारित ब्लेंडशेप सिस्टम
  • Apple ARKit ब्लेंडशेप मानक
  • Preston Blair फोनेम सेट
  • 3ds Max फोनेम सिस्टम
  • चेहरे के भावों के लिए कस्टम मॉर्फ टार्गेट वाला कोई भी कैरेक्टर

गैर-मेटाह्यूमन कैरेक्टर्स के साथ प्लगइन का उपयोग करने के विस्तृत निर्देशों के लिए, कस्टम कैरेक्टर सेटअप गाइड देखें।

एनीमेशन पूर्वावलोकन​

विभिन्न कैरेक्टर प्रकारों और मॉडलों में प्लगइन द्वारा उत्पादित लिप सिंक एनीमेशन की गुणवत्ता देखने के लिए इन छोटी एनिमेशन को देखें:

Realistic Lip Sync Example
यथार्थवादी मॉडल मेटाह्यूमन कैरेक्टर के साथ
Standard Lip Sync Example
मानक मॉडल मेटाह्यूमन कैरेक्टर के साथ
Custom Character Lip Sync Example
मानक मॉडल कस्टम चरित्र के साथ
Custom Character Lip Sync Example
स्टैंडर्ड मॉडल कस्टम कैरेक्टर के साथ

मुख्य विशेषताएं​

  • माइक्रोफोन इनपुट से रियल-टाइम लिप सिंक
  • ऑफ़लाइन ऑडियो प्रोसेसिंग सपोर्ट
  • मॉडल-विशिष्ट प्लेटफ़ॉर्म सपोर्ट के साथ क्रॉस-प्लेटफ़ॉर्म संगतता
  • एकाधिक कैरेक्टर सिस्टम और एनीमेशन मानकों के लिए समर्थन
  • कस्टम कैरेक्टर के लिए लचीला विसेम मैपिंग
  • सार्वभौमिक भाषा समर्थन - ऑडियो विश्लेषण के माध्यम से किसी भी बोली जाने वाली भाषा के साथ काम करता है
  • बेहतर अभिव्यक्ति के लिए मूड-अवेयर फेशियल एनीमेशन
  • कॉन्फ़िगर करने योग्य आउटपुट प्रकार (पूरा चेहरा या केवल मुंह नियंत्रण)

लिप सिंक मॉडल​

यह प्लगइन विभिन्न प्रोजेक्ट आवश्यकताओं के अनुरूप कई लिप सिंक मॉडल प्रदान करता है:

स्टैंडर्ड लिप सिंक मॉडल व्यापक कैरेक्टर संगतता के साथ कुशल, क्रॉस-प्लेटफ़ॉर्म प्रदर्शन प्रदान करता है:

  • MetaHumans और सभी कस्टम कैरेक्टर प्रकारों के साथ काम करता है
  • रियल-टाइम प्रदर्शन के लिए अनुकूलित
  • कम संसाधन आवश्यकताएं
  • स्थानीय TTS (Runtime Text To Speech प्लगइन) के साथ पूर्ण संगतता
  • प्लेटफ़ॉर्म समर्थन: Windows, Android, Android-आधारित प्लेटफ़ॉर्म (Meta Quest सहित)
एक्सटेंशन प्लगइन आवश्यक

स्टैंडर्ड मॉडल का उपयोग करने के लिए, आपको एक अतिरिक्त एक्सटेंशन प्लगइन इंस्टॉल करने की आवश्यकता है। इंस्टॉलेशन निर्देशों के लिए पूर्वापेक्षाएँ अनुभाग देखें।

आप प्रदर्शन, कैरेक्टर संगतता, दृश्य गुणवत्ता, लक्षित प्लेटफ़ॉर्म और सुविधा आवश्यकताओं के आधार पर अपनी परियोजना की आवश्यकताओं के अनुरूप उपयुक्त मॉडल चुन सकते हैं।

TTS संगतता नोट

जबकि सभी मॉडल विभिन्न ऑडियो इनपुट विधियों का समर्थन करते हैं, नियमित यथार्थवादी मॉडल की ONNX रनटाइम संघर्षों के कारण स्थानीय TTS के साथ सीमित संगतता है। हालाँकि, मूड-सक्षम यथार्थवादी मॉडल स्थानीय TTS के साथ पूरी तरह से संगत है। टेक्स्ट-टू-स्पीच कार्यक्षमता के लिए:

  • स्टैंडर्ड मॉडल: सभी TTS विकल्पों (स्थानीय और बाहरी) के साथ संगत
  • यथार्थवादी मॉडल: बाहरी TTS सेवाओं की अनुशंसा की जाती है (OpenAI, ElevenLabs)
  • मूड-सक्षम यथार्थवादी मॉडल: सभी TTS विकल्पों (स्थानीय और बाहरी) के साथ संगत

यह कैसे काम करता है​

यह प्लगइन निम्नलिखित तरीके से ऑडियो इनपुट को प्रोसेस करता है:

  1. ऑडियो डेटा निर्दिष्ट चैनल और सैंपल रेट के साथ PCM प्रारूप में फ्लोट के रूप में प्राप्त होता है
  2. प्लगइन मॉडल के आधार पर फेशियल कंट्रोल डेटा या विसेम उत्पन्न करने के लिए ऑडियो को प्रोसेस करता है
  3. मूड-सक्षम मॉडल के लिए, भावनात्मक संदर्भ फेशियल एनीमेशन पर लागू किया जाता है
  4. एनीमेशन डेटा रियल-टाइम में कैरेक्टर की चेहरे की गतियों को संचालित करता है

प्रदर्शन आर्किटेक्चर​

Runtime MetaHuman Lip Sync रियल-टाइम अनुप्रयोगों के लिए उपयुक्त सुसंगत, कम-विलंबता वाले लिप सिंक परिणाम देने के लिए CPU-ओनली इनफेरेंस का उपयोग करता है। डिफ़ॉल्ट रूप से, प्लगइन हर 10 मिलीसेकंड में लिप सिंक प्रोसेसिंग करता है (समायोज्य - सभी उपलब्ध सेटिंग्स सहित प्रोसेसिंग चंक साइज़, थ्रेड काउंट, और अन्य प्रदर्शन पैरामीटर्स के लिए प्लगइन कॉन्फ़िगरेशन देखें)।

मॉडल आर्किटेक्चर अवलोकन​

लिप सिंक मॉडल एक कॉम्पैक्ट ट्रांसफॉर्मर-आधारित न्यूरल नेटवर्क का उपयोग करते हैं जो मेल-स्पेक्ट्रोग्राम विश्लेषण के माध्यम से ऑडियो को प्रोसेस करता है। यह हल्का आर्किटेक्चर विशेष रूप से कुशल CPU इनफेरेंस और न्यूनतम मेमोरी फुटप्रिंट के साथ रियल-टाइम प्रदर्शन के लिए डिज़ाइन किया गया है।

CPU इनफेरेंस क्यों?​

रियल-टाइम लिप सिंक जैसे छोटे, लगातार इनफेरेंस ऑपरेशन के लिए, CPU प्रोसेसिंग GPU की तुलना में बेहतर विलंबता विशेषताएं प्रदान करती है। बैच साइज़ 1 के साथ 10-100ms इनफेरेंस अंतराल पर, PCIe ट्रांसफर और कर्नेल लॉन्च से GPU ओवरहेड अक्सर वास्तविक कंप्यूट समय से अधिक हो जाता है। इसके अलावा, गेम इंजन में GPU पहले से ही रेंडरिंग, शेडर और फिजिक्स से संतृप्त होता है, जो अप्रत्याशित विलंबता स्पाइक्स पैदा करने वाले संसाधन प्रतिस्पर्धा का निर्माण करता है।

हार्डवेयर संगतता​

यह प्लगइन समर्पित ग्राफिक्स हार्डवेयर की आवश्यकता के बिना अधिकांश मिड-टियर और उच्च CPU पर कुशलता से काम करता है, डेस्कटॉप, मोबाइल और VR प्लेटफ़ॉर्म पर रियल-टाइम प्रदर्शन प्रदान करता है। कमजोर हार्डवेयर के लिए, आप मॉडल प्रकार को अर्ध-अनुकूलित या अत्यधिक अनुकूलित में समायोजित कर सकते हैं, या थोड़ी कम प्रतिक्रियाशीलता के साथ रियल-टाइम प्रदर्शन बनाए रखने के लिए प्रोसेसिंग चंक साइज़ बढ़ा सकते हैं।

त्वरित प्रारंभ​

यहां आपके कैरेक्टर पर लिप सिंक सक्षम करने के लिए एक बुनियादी सेटअप दिया गया है:

  1. MetaHuman कैरेक्टर के लिए, सेटअप गाइड का पालन करें
  2. कस्टम कैरेक्टर के लिए, कस्टम कैरेक्टर सेटअप गाइड का पालन करें
  3. अपने पसंदीदा लिप सिंक मॉडल को चुनें और कॉन्फ़िगर करें
  4. अपने Blueprint में ऑडियो इनपुट प्रोसेसिंग सेट करें
  5. एनीमेशन Blueprint में उपयुक्त लिप सिंक नोड कनेक्ट करें
  6. ऑडियो चलाएं और अपने कैरेक्टर को भावना के साथ बोलते हुए देखें!

अतिरिक्त संसाधन​

📦 डाउनलोड और लिंक​

डेमो प्रोजेक्ट:

🎥 वीडियो ट्यूटोरियल​

फीचर्ड डेमो:​

यथार्थवादी मॉडल (उच्च-गुणवत्ता) ट्यूटोरियल:​

स्टैंडर्ड मॉडल ट्यूटोरियल:​

सामान्य सेटअप:​

💬 समर्थन​