मुख्य कंटेंट तक स्किप करें

अवलोकन

Runtime MetaHuman Lip Sync डॉक्युमेंटेशन

Runtime MetaHuman Lip Sync एक प्लगइन है जो मेटाह्यूमन और कस्टम कैरेक्टर्स दोनों के लिए रियल-टाइम, ऑफ़लाइन और क्रॉस-प्लेटफ़ॉर्म लिप सिंक सक्षम करता है। यह आपको विभिन्न स्रोतों से ऑडियो इनपुट के जवाब में किसी कैरेक्टर के होंठों को एनिमेट करने की अनुमति देता है, जिसमें शामिल हैं:

प्लगइन आंतरिक रूप से ऑडियो इनपुट के आधार पर विसेम्स (फोनेम्स के दृश्य प्रतिनिधित्व) उत्पन्न करता है। चूंकि यह सीधे टेक्स्ट के बजाय ऑडियो डेटा के साथ काम करता है, प्लगइन अंग्रेजी, स्पेनिश, फ्रेंच, जर्मन, जापानी, चीनी, कोरियाई, रूसी, इतालवी, पुर्तगाली, अरबी और हिंदी सहित बहुभाषी इनपुट का समर्थन करता है। सचमुच कोई भी भाषा समर्थित है क्योंकि लिप सिंक ऑडियो फोनेम्स से उत्पन्न होता है न कि भाषा-विशिष्ट टेक्स्ट प्रोसेसिंग से।

स्टैंडर्ड मॉडल 14 विसेम्स उत्पन्न करता है और एक पूर्वनिर्धारित पोज़ एसेट का उपयोग करके लिप सिंक एनीमेशन करता है। इसके विपरीत, रियलिस्टिक मॉडल (जो केवल मेटाह्यूमन कैरेक्टर्स के लिए है) 250 मॉर्फ टारगेट परिवर्तन उत्पन्न करता है बिना किसी पूर्वनिर्धारित पोज़ एसेट पर निर्भर हुए, जिसके परिणामस्वरूप काफी अधिक यथार्थवादी चेहरे की एनिमेशन होती हैं।

कैरेक्टर संगतता​

इसके नाम के बावजूद, Runtime MetaHuman Lip Sync सिर्फ मेटाह्यूमन से परे कैरेक्टर्स की एक विस्तृत श्रृंखला के साथ काम करता है:

लोकप्रिय वाणिज्यिक कैरेक्टर सिस्टम​

  • डाज़ जेनेसिस 8/9 कैरेक्टर्स
  • रियल्यूज़न कैरेक्टर क्रिएटर 3/4 (CC3/CC4) कैरेक्टर्स
  • मिक्सामो कैरेक्टर्स
  • रेडीप्लेयरमी अवतार

एनीमेशन मानक समर्थन​

  • FACS-आधारित ब्लेंडशेप सिस्टम
  • Apple ARKit ब्लेंडशेप मानक
  • प्रेस्टन ब्लेयर फोनेम सेट
  • 3ds Max फोनेम सिस्टम
  • चेहरे के भावों के लिए कस्टम मॉर्फ टारगेट वाले कोई भी कैरेक्टर

गैर-मेटाह्यूमन कैरेक्टर्स के साथ प्लगइन का उपयोग करने के विस्तृत निर्देशों के लिए, कस्टम कैरेक्टर सेटअप गाइड देखें।

एनीमेशन पूर्वावलोकन​

विभिन्न कैरेक्टर प्रकारों और मॉडल्स में प्लगइन द्वारा उत्पादित लिप सिंक एनीमेशन की गुणवत्ता देखने के लिए इन छोटी एनिमेशन को देखें:

Realistic Lip Sync Example
MetaHuman कैरेक्टर के साथ यथार्थवादी मॉडल
Standard Lip Sync Example
मानक मॉडल मेटाह्यूमन कैरेक्टर के साथ
Custom Character Lip Sync Example
मानक मॉडल कस्टम चरित्र के साथ
Custom Character Lip Sync Example
मानक मॉडल कस्टम कैरेक्टर के साथ

मुख्य विशेषताएं​

  • माइक्रोफोन इनपुट से रियल-टाइम लिप सिंक
  • ऑफलाइन ऑडियो प्रोसेसिंग सपोर्ट
  • क्रॉस-प्लेटफॉर्म संगतता: Windows, Android, Meta Quest
  • मल्टीपल कैरेक्टर सिस्टम्स और एनीमेशन स्टैंडर्ड्स के लिए सपोर्ट
  • कस्टम कैरेक्टर्स के लिए फ्लेक्सिबल विसेम मैपिंग
  • ऑडियो एनालिसिस के माध्यम से किसी भी बोली जाने वाली भाषा के लिए यूनिवर्सल लैंग्वेज सपोर्ट

लिप सिंक मॉडल्स​

यह प्लगइन विभिन्न प्रोजेक्ट आवश्यकताओं के अनुरूप दो लिप सिंक मॉडल प्रदान करता है:

मानक लिप सिंक मॉडल व्यापक कैरेक्टर संगतता के साथ कुशल, क्रॉस-प्लेटफॉर्म प्रदर्शन प्रदान करता है:

  • MetaHumans और सभी कस्टम कैरेक्टर प्रकारों के साथ काम करता है
  • सभी प्लेटफॉर्म्स पर रियल-टाइम प्रदर्शन के लिए ऑप्टिमाइज़्ड
  • कम संसाधन आवश्यकताएँ
  • लोकल TTS (Runtime Text To Speech प्लगइन) के साथ पूर्ण संगतता
  • मोबाइल और VR/AR एप्लिकेशन्स के लिए उपयुक्त
एक्सटेंशन प्लगइन आवश्यक

मानक (तेज़) मॉडल का उपयोग करने के लिए, आपको एक अतिरिक्त एक्सटेंशन प्लगइन इंस्टॉल करना होगा। इंस्टॉलेशन निर्देशों के लिए पूर्वापेक्षाएँ सेक्शन देखें।

आप प्रदर्शन, कैरेक्टर संगतता और विजुअल क्वालिटी के लिए अपनी प्रोजेक्ट आवश्यकताओं के आधार पर उपयुक्त मॉडल चुन सकते हैं।

TTS संगतता नोट

हालांकि दोनों मॉडल विभिन्न ऑडियो इनपुट मेथड्स को सपोर्ट करते हैं, यथार्थवादी मॉडल में ONNX रनटाइम कॉन्फ्लिक्ट्स के कारण लोकल TTS के साथ सीमित संगतता है। यथार्थवादी मॉडल के साथ टेक्स्ट-टू-स्पीच फंक्शनैलिटी के लिए, बाहरी TTS सेवाओं (OpenAI, ElevenLabs) की सिफारिश की जाती है।

यह कैसे काम करता है​

प्लगइन निम्नलिखित तरीके से ऑडियो इनपुट को प्रोसेस करता है:

  1. ऑडियो डेटा PCM फॉर्मेट में फ्लोट के रूप में प्राप्त होता है जिसमें निर्दिष्ट चैनल्स और सैंपल रेट होते हैं
  2. प्लगइन विसेम्स (फोनेम्स) जनरेट करने के लिए ऑडियो को प्रोसेस करता है
  3. ये विसेम्स कैरेक्टर के पोज़ एसेट का उपयोग करके लिप सिंक एनीमेशन को ड्राइव करते हैं
  4. एनीमेशन को रियल-टाइम में कैरेक्टर पर लागू किया जाता है

क्विक स्टार्ट​

यहां आपके कैरेक्टर पर लिप सिंक सक्षम करने के लिए एक बेसिक सेटअप है:

  1. मेटाह्यूमन कैरेक्टर्स के लिए, मेटाह्यूमन सेटअप गाइड फॉलो करें
  2. कस्टम कैरेक्टर्स के लिए, कस्टम कैरेक्टर सेटअप गाइड फॉलो करें
  3. ऑडियो इनपुट प्रोसेसिंग सेट अप करें (जैसे इवेंट ग्राफ में)
  4. एनिम ग्राफ में ब्लेंड Runtime MetaHuman Lip Sync नोड कनेक्ट करें
  5. ऑडियो प्ले करें और अपने कैरेक्टर को बोलते हुए देखें!

अतिरिक्त संसाधन​

📦 डाउनलोड्स और लिंक्स​

🎥 वीडियो ट्यूटोरियल्स​

फीचर्ड डेमो:​

रियलिस्टिक मॉडल (हाई-क्वालिटी) ट्यूटोरियल्स:​

स्टैंडर्ड मॉडल ट्यूटोरियल्स:​

जनरल सेटअप:​

💬 सपोर्ट​