मुख्य कंटेंट तक स्किप करें

अवलोकन

Runtime MetaHuman Lip Sync डॉक्यूमेंटेशन

Runtime MetaHuman Lip Sync एक प्लगइन है जो मेटाह्यूमन और कस्टम कैरेक्टर्स दोनों के लिए रियल-टाइम, ऑफलाइन और क्रॉस-प्लेटफॉर्म लिप सिंक सक्षम करता है। यह आपको विभिन्न स्रोतों से ऑडियो इनपुट के जवाब में कैरेक्टर के होंठों को एनिमेट करने की अनुमति देता है, जिसमें शामिल हैं:

प्लगइन आंतरिक रूप से ऑडियो इनपुट के आधार पर विज़म (फोनेम के दृश्य प्रतिनिधित्व) उत्पन्न करता है। चूंकि यह सीधे ऑडियो डेटा के साथ काम करता है न कि टेक्स्ट के साथ, प्लगइन अंग्रेजी, स्पेनिश, फ्रेंच, जर्मन, जापानी, चीनी, कोरियाई, रूसी, इतालवी, पुर्तगाली, अरबी और हिंदी सहित बहुभाषी इनपुट का समर्थन करता है। सचमुच कोई भी भाषा समर्थित है क्योंकि लिप सिंक ऑडियो फोनेम से उत्पन्न होता है न कि भाषा-विशिष्ट टेक्स्ट प्रोसेसिंग से।

स्टैंडर्ड मॉडल 14 विज़म उत्पन्न करता है और लिप सिंक एनीमेशन के लिए एक पूर्वनिर्धारित पोज़ एसेट का उपयोग करता है। इसके विपरीत, रियलिस्टिक मॉडल (विशेष रूप से मेटाह्यूमन कैरेक्टर्स के लिए) पूर्वनिर्धारित पोज़ एसेट पर निर्भर किए बिना 250 मॉर्फ टारगेट परिवर्तन उत्पन्न करता है, जिसके परिणामस्वरूप काफी अधिक यथार्थवादी चेहरे की एनिमेशन होती है।

कैरेक्टर संगतता​

इसके नाम के बावजूद, Runtime MetaHuman Lip Sync सिर्फ मेटाह्यूमन से परे कैरेक्टर्स की एक विस्तृत श्रृंखला के साथ काम करता है:

लोकप्रिय वाणिज्यिक कैरेक्टर सिस्टम​

  • डाज़ जेनेसिस 8/9 कैरेक्टर्स
  • रियल्यूज़न कैरेक्टर क्रिएटर 3/4 (CC3/CC4) कैरेक्टर्स
  • मिक्सामो कैरेक्टर्स
  • रेडीप्लेयरमी अवतार

एनीमेशन मानक समर्थन​

  • FACS-आधारित ब्लेंडशेप सिस्टम
  • Apple ARKit ब्लेंडशेप मानक
  • प्रेस्टन ब्लेयर फोनेम सेट
  • 3ds Max फोनेम सिस्टम
  • चेहरे के भावों के लिए कस्टम मॉर्फ टारगेट वाले कोई भी कैरेक्टर

गैर-मेटाह्यूमन कैरेक्टर्स के साथ प्लगइन का उपयोग करने के विस्तृत निर्देशों के लिए, कस्टम कैरेक्टर सेटअप गाइड देखें।

एनीमेशन पूर्वावलोकन​

विभिन्न कैरेक्टर प्रकारों और मॉडलों में प्लगइन द्वारा उत्पादित लिप सिंक एनीमेशन की गुणवत्ता देखने के लिए इन छोटी एनिमेशन को देखें:

Realistic Lip Sync Example
यथार्थवादी मॉडल मेटाह्यूमन कैरेक्टर के साथ
Standard Lip Sync Example
मानक मॉडल मेटाह्यूमन कैरेक्टर के साथ
Custom Character Lip Sync Example
मानक मॉडल कस्टम चरित्र के साथ
Custom Character Lip Sync Example
मानक मॉडल कस्टम कैरेक्टर के साथ

मुख्य विशेषताएँ​

  • माइक्रोफोन इनपुट से रियल-टाइम लिप सिंक
  • ऑफ़लाइन ऑडियो प्रोसेसिंग सपोर्ट
  • क्रॉस-प्लेटफ़ॉर्म संगतता: Windows, Android, Meta Quest
  • मल्टीपल कैरेक्टर सिस्टम्स और एनीमेशन स्टैंडर्ड के लिए सपोर्ट
  • कस्टम कैरेक्टर्स के लिए लचीली विसेम मैपिंग
  • यूनिवर्सल लैंग्वेज सपोर्ट - ऑडियो एनालिसिस के माध्यम से किसी भी बोली जाने वाली भाषा के साथ काम करता है

लिप सिंक मॉडल्स​

यह प्लगइन विभिन्न प्रोजेक्ट आवश्यकताओं के अनुरूप दो लिप सिंक मॉडल प्रदान करता है:

मानक लिप सिंक मॉडल व्यापक कैरेक्टर संगतता के साथ कुशल, क्रॉस-प्लेटफ़ॉर्म परफॉर्मेंस प्रदान करता है:

  • MetaHumans और सभी कस्टम कैरेक्टर प्रकारों के साथ काम करता है
  • सभी प्लेटफ़ॉर्म्स पर रियल-टाइम परफॉर्मेंस के लिए ऑप्टिमाइज़्ड
  • कम संसाधन आवश्यकताएँ
  • लोकल TTS (Runtime Text To Speech प्लगइन) के साथ पूर्ण संगतता
  • मोबाइल और VR/AR एप्लिकेशन्स के लिए उपयुक्त

आप परफॉर्मेंस, कैरेक्टर संगतता और दृश्य गुणवत्ता के आधार पर अपनी प्रोजेक्ट आवश्यकताओं के अनुरूप उपयुक्त मॉडल चुन सकते हैं।

TTS संगतता नोट

जबकि दोनों मॉडल विभिन्न ऑडियो इनपुट विधियों का समर्थन करते हैं, यथार्थवादी मॉडल में ONNX रनटाइम कॉन्फ्लिक्ट्स के कारण लोकल TTS के साथ सीमित संगतता है। यथार्थवादी मॉडल के साथ टेक्स्ट-टू-स्पीच फंक्शनैलिटी के लिए, बाहरी TTS सेवाओं (OpenAI, ElevenLabs) की सिफारिश की जाती है।

यह कैसे काम करता है​

प्लगइन निम्नलिखित तरीके से ऑडियो इनपुट को प्रोसेस करता है:

  1. ऑडियो डेटा PCM फॉर्मेट में फ्लोट के रूप में प्राप्त होता है जिसमें निर्दिष्ट चैनल्स और सैंपल रेट होते हैं
  2. प्लगइन विसेम्स (फोनेम्स) उत्पन्न करने के लिए ऑडियो को प्रोसेस करता है
  3. ये विसेम्स कैरेक्टर के पोज़ एसेट का उपयोग करके लिप सिंक एनीमेशन को ड्राइव करते हैं
  4. एनीमेशन को रियल-टाइम में कैरेक्टर पर लागू किया जाता है

क्विक स्टार्ट​

अपने कैरेक्टर पर लिप सिंक सक्षम करने के लिए यहाँ एक बेसिक सेटअप है:

  1. MetaHuman कैरेक्टर्स के लिए, MetaHuman सेटअप गाइड का पालन करें
  2. कस्टम कैरेक्टर्स के लिए, कस्टम कैरेक्टर सेटअप गाइड का पालन करें
  3. ऑडियो इनपुट प्रोसेसिंग सेट अप करें (जैसे इवेंट ग्राफ में)
  4. Blend Runtime MetaHuman Lip Sync नोड को Anim Graph में कनेक्ट करें
  5. ऑडियो प्ले करें और अपने कैरेक्टर को बोलते हुए देखें!

अतिरिक्त संसाधन​

📦 डाउनलोड्स और लिंक्स​

🎥 वीडियो ट्यूटोरियल्स​

फीचर्ड डेमो:​

यथार्थवादी मॉडल (हाई-क्वालिटी) ट्यूटोरियल्स:​

मानक मॉडल ट्यूटोरियल्स:​

जनरल सेटअप:​

💬 सपोर्ट​