प्लगइन कॉन्फ़िगरेशन

मॉडल कॉन्फ़िगरेशन

स्टैंडर्ड मॉडल कॉन्फ़िगरेशन

Create Runtime Viseme Generator नोड अधिकांश परिदृश्यों के लिए अच्छी तरह काम करने वाली डिफ़ॉल्ट सेटिंग्स का उपयोग करता है। कॉन्फ़िगरेशन एनीमेशन ब्लूप्रिंट ब्लेंडिंग नोड गुणों के माध्यम से संभाला जाता है।

एनीमेशन ब्लूप्रिंट कॉन्फ़िगरेशन विकल्पों के लिए, नीचे लिप सिंक कॉन्फ़िगरेशन अनुभाग देखें।

रियलिस्टिक मॉडल कॉन्फ़िगरेशन

Create Realistic MetaHuman Lip Sync Generator नोड एक वैकल्पिक Configuration पैरामीटर स्वीकार करता है जो आपको जनरेटर के व्यवहार को अनुकूलित करने की अनुमति देता है:

मॉडल प्रकार

Model Type सेटिंग यह निर्धारित करती है कि रियलिस्टिक मॉडल के किस संस्करण का उपयोग करना है:

मॉडल प्रकार	प्रदर्शन	दृश्य गुणवत्ता	शोर संचालन	अनुशंसित उपयोग के मामले
अत्यधिक अनुकूलित (डिफ़ॉल्ट)	उच्चतम प्रदर्शन, सबसे कम CPU उपयोग	अच्छी गुणवत्ता	पृष्ठभूमि शोर या गैर-आवाज़ ध्वनियों के साथ ध्यान देने योग्य मुंह की हरकतें दिखा सकता है	स्वच्छ ऑडियो वातावरण, प्रदर्शन-महत्वपूर्ण परिदृश्य
अर्ध-अनुकूलित	अच्छा प्रदर्शन, मध्यम CPU उपयोग	उच्च गुणवत्ता	शोर भरे ऑडियो के साथ बेहतर स्थिरता	संतुलित प्रदर्शन और गुणवत्ता, मिश्रित ऑडियो स्थितियाँ
मूल	आधुनिक CPUs पर रियल-टाइम उपयोग के लिए उपयुक्त	उच्चतम गुणवत्ता	पृष्ठभूमि शोर और गैर-आवाज़ ध्वनियों के साथ सबसे स्थिर	उच्च-गुणवत्ता उत्पादन, शोर भरे ऑडियो वातावरण, जब अधिकतम सटीकता की आवश्यकता हो

प्रदर्शन सेटिंग्स

Intra Op Threads: आंतरिक मॉडल प्रसंस्करण संचालन के लिए उपयोग किए जाने वाले थ्रेड्स की संख्या को नियंत्रित करता है।

• 0 (डिफ़ॉल्ट/स्वचालित): स्वचालित पहचान का उपयोग करता है (आमतौर पर उपलब्ध CPU कोर का 1/4, अधिकतम 4)
• 1-16: मैन्युअल रूप से थ्रेड काउंट निर्दिष्ट करें। उच्च मान मल्टी-कोर सिस्टम पर प्रदर्शन में सुधार कर सकते हैं लेकिन अधिक CPU का उपयोग करते हैं

Inter Op Threads: विभिन्न मॉडल संचालन के समानांतर निष्पादन के लिए उपयोग किए जाने वाले थ्रेड्स की संख्या को नियंत्रित करता है।

• 0 (डिफ़ॉल्ट/स्वचालित): स्वचालित पहचान का उपयोग करता है (आमतौर पर उपलब्ध CPU कोर का 1/8, अधिकतम 2)
• 1-8: मैन्युअल रूप से थ्रेड काउंट निर्दिष्ट करें। आमतौर पर रियल-टाइम प्रसंस्करण के लिए कम रखा जाता है

प्रोसेसिंग चंक साइज़

Processing Chunk Size यह निर्धारित करता है कि प्रत्येक इन्फ़रेंस चरण में कितने सैंपल प्रोसेस किए जाते हैं। डिफ़ॉल्ट मान 160 सैंपल है (16kHz पर ऑडियो के 10ms):

• छोटे मान अधिक बार अपडेट प्रदान करते हैं लेकिन CPU उपयोग बढ़ाते हैं
• बड़े मान CPU लोड कम करते हैं लेकिन लिप सिंक की प्रतिक्रियाशीलता कम कर सकते हैं
• इष्टतम संरेखण के लिए 160 के गुणकों का उपयोग करने की अनुशंसा की जाती है

मूड-सक्षम मॉडल कॉन्फ़िगरेशन

Create Realistic MetaHuman Lip Sync With Mood Generator नोड बेसिक रियलिस्टिक मॉडल से परे अतिरिक्त कॉन्फ़िगरेशन विकल्प प्रदान करता है:

बेसिक कॉन्फ़िगरेशन

Lookahead Ms: बेहतर लिप सिंक सटीकता के लिए मिलीसेकंड में लुकअहेड टाइमिंग।

• डिफ़ॉल्ट: 80ms
• रेंज: 20ms से 200ms (20 से विभाज्य होना चाहिए)
• उच्च मान बेहतर सिंक्रनाइज़ेशन प्रदान करते हैं लेकिन विलंबता बढ़ाते हैं

Output Type: नियंत्रित करता है कि कौन से चेहरे के नियंत्रण उत्पन्न होते हैं।

• Full Face: सभी 81 चेहरे के नियंत्रण (भौंहें, आँखें, नाक, मुंह, जबड़ा, जीभ)
• Mouth Only: केवल मुंह, जबड़ा और जीभ से संबंधित नियंत्रण

Performance Settings: नियमित रियलिस्टिक मॉडल के समान Intra Op Threads और Inter Op Threads सेटिंग्स का उपयोग करता है।

मूड सेटिंग्स

उपलब्ध मूड:

• Neutral, Happy, Sad, Disgust, Anger, Surprise, Fear
• Confident, Excited, Bored, Playful, Confused

Mood Intensity: नियंत्रित करता है कि मूड एनीमेशन को कितनी दृढ़ता से प्रभावित करता है (0.0 से 1.0)

रनटाइम मूड कंट्रोल

आप रनटाइम के दौरान निम्नलिखित फ़ंक्शंस का उपयोग करके मूड सेटिंग्स समायोजित कर सकते हैं:

• Set Mood: वर्तमान मूड प्रकार बदलें
• Set Mood Intensity: समायोजित करें कि मूड एनीमेशन को कितनी दृढ़ता से प्रभावित करता है (0.0 से 1.0)
• Set Lookahead Ms: सिंक्रनाइज़ेशन के लिए लुकअहेड टाइमिंग संशोधित करें
• Set Output Type: Full Face और Mouth Only नियंत्रणों के बीच स्विच करें

मूड चयन गाइड

अपनी सामग्री के आधार पर उपयुक्त मूड चुनें:

मूड	सर्वोत्तम के लिए	विशिष्ट तीव्रता रेंज
Neutral	सामान्य बातचीत, कथन, डिफ़ॉल्ट स्थिति	0.5 - 1.0
Happy	सकारात्मक सामग्री, हंसमुख संवाद, उत्सव	0.6 - 1.0
Sad	उदासी भरी सामग्री, भावनात्मक दृश्य, गंभीर क्षण	0.5 - 0.9
Disgust	नकारात्मक प्रतिक्रियाएं, अरुचिकर सामग्री, अस्वीकृति	0.4 - 0.8
Anger	आक्रामक संवाद, टकराव वाले दृश्य, निराशा	0.6 - 1.0
Surprise	अप्रत्याशित घटनाएं, रहस्योद्घाटन, आघात प्रतिक्रियाएं	0.7 - 1.0
Fear	धमकी भरी स्थितियां, चिंता, घबराहट भरा संवाद	0.5 - 0.9
Confident	पेशेवर प्रस्तुतियां, नेतृत्व संवाद, दृढ़ भाषण	0.7 - 1.0
Excited	ऊर्जावान सामग्री, घोषणाएं, उत्साही संवाद	0.8 - 1.0
Bored	एकरस सामग्री, अरुचि संवाद, थका हुआ भाषण	0.3 - 0.7
Playful	आकस्मिक बातचीत, हास्य, हल्के-फुल्के इंटरैक्शन	0.6 - 0.9
Confused	प्रश्न-भारी संवाद, अनिश्चितता, हैरानी	0.4 - 0.8

एनीमेशन ब्लूप्रिंट कॉन्फ़िगरेशन

लिप सिंक कॉन्फ़िगरेशन

स्टैंडर्ड मॉडल

Blend Runtime MetaHuman Lip Sync नोड में इसके गुण पैनल में कॉन्फ़िगरेशन विकल्प हैं:

गुण	डिफ़ॉल्ट	विवरण
Interpolation Speed	25	नियंत्रित करता है कि होंठ की हरकतें विसेम्स के बीच कितनी तेजी से संक्रमण करती हैं। उच्च मान तेज अधिक अचानक संक्रमण का परिणाम देते हैं।
Reset Time	0.2	सेकंड में अवधि जिसके बाद लिप सिंक रीसेट हो जाता है। यह ऑडियो रुकने के बाद लिप सिंक को जारी रखने से रोकने के लिए उपयोगी है।

हंसी एनीमेशन

आप हंसी एनीमेशन भी जोड़ सकते हैं जो ऑडियो में पाई गई हंसी पर गतिशील रूप से प्रतिक्रिया देगा:

1. Blend Runtime MetaHuman Laughter नोड जोड़ें
2. अपने RuntimeVisemeGenerator वेरिएबल को Viseme Generator पिन से कनेक्ट करें
3. यदि आप पहले से ही लिप सिंक का उपयोग कर रहे हैं:
   • Blend Runtime MetaHuman Lip Sync नोड से आउटपुट को Blend Runtime MetaHuman Laughter नोड के Source Pose से कनेक्ट करें
   • Blend Runtime MetaHuman Laughter नोड के आउटपुट को Output Pose के Result पिन से कनेक्ट करें
4. यदि लिप सिंक के बिना केवल हंसी का उपयोग कर रहे हैं:
   • अपने स्रोत पोज़ को सीधे Blend Runtime MetaHuman Laughter नोड के Source Pose से कनेक्ट करें
   • आउटपुट को Result पिन से कनेक्ट करें

जब ऑडियो में हंसी का पता चलता है, तो आपका कैरेक्टर तदनुसार गतिशील रूप से एनिमेट होगा:

हंसी कॉन्फ़िगरेशन

Blend Runtime MetaHuman Laughter नोड के अपने कॉन्फ़िगरेशन विकल्प हैं:

गुण	डिफ़ॉल्ट	विवरण
Interpolation Speed	25	नियंत्रित करता है कि होंठ की हरकतें हंसी एनीमेशन के बीच कितनी तेजी से संक्रमण करती हैं। उच्च मान तेज अधिक अचानक संक्रमण का परिणाम देते हैं।
Reset Time	0.2	सेकंड में अवधि जिसके बाद हंसी रीसेट हो जाती है। यह ऑडियो रुकने के बाद हंसी को जारी रखने से रोकने के लिए उपयोगी है।
Max Laughter Weight	0.7	हंसी एनीमेशन की अधिकतम तीव्रता को स्केल करता है (0.0 - 1.0)।

नोट: हंसी का पता लगाना वर्तमान में केवल स्टैंडर्ड मॉडल के साथ उपलब्ध है।

रियलिस्टिक मॉडल

Blend Realistic MetaHuman Lip Sync नोड में इसके गुण पैनल में कॉन्फ़िगरेशन विकल्प हैं:

गुण	डिफ़ॉल्ट	विवरण
Interpolation Speed	30	नियंत्रित करता है कि सक्रिय भाषण के दौरान चेहरे के भाव कितनी तेजी से संक्रमण करते हैं। उच्च मान तेज, अधिक अचानक संक्रमण का परिणाम देते हैं।
Idle Interpolation Speed	15	नियंत्रित करता है कि चेहरे के भाव आइडल/तटस्थ स्थिति में कितनी तेजी से वापस संक्रमण करते हैं। कम मान आराम मुद्रा में अधिक सहज, अधिक क्रमिक रिटर्न बनाते हैं।
Reset Time	0.2	सेकंड में अवधि जिसके बाद लिप सिंक आइडल स्थिति में रीसेट हो जाता है। ऑडियो रुकने के बाद भावों को जारी रखने से रोकने के लिए उपयोगी है।
Preserve Idle State	false	जब सक्षम होता है, तो तटस्थ पर रीसेट करने के बजाय आइडल अवधि के दौरान अंतिम भावनात्मक स्थिति को संरक्षित करता है।
Preserve Eye Expressions	true	नियंत्रित करता है कि क्या आइडल स्थिति के दौरान आंखों से संबंधित चेहरे के नियंत्रण संरक्षित हैं। केवल तभी प्रभावी होता है जब Preserve Idle State सक्षम हो।
Preserve Brow Expressions	true	नियंत्रित करता है कि क्या आइडल स्थिति के दौरान भौंह से संबंधित चेहरे के नियंत्रण संरक्षित हैं। केवल तभी प्रभावी होता है जब Preserve Idle State सक्षम हो।
Preserve Mouth Shape	false	नियंत्रित करता है कि क्या आइडल स्थिति के दौरान मुंह के आकार नियंत्रण (जीभ और जबड़े जैसे भाषण-विशिष्ट आंदोलनों को छोड़कर) संरक्षित हैं। केवल तभी प्रभावी होता है जब Preserve Idle State सक्षम हो।

आइडल स्टेट प्रिज़र्वेशन

Preserve Idle State सुविधा संबोधित करती है कि रियलिस्टिक मॉडल मौन अवधियों को कैसे संभालता है। स्टैंडर्ड मॉडल के विपरीत जो असतत विसेम्स का उपयोग करता है और लगातार मौन के दौरान शून्य मानों पर लौटता है, रियलिस्टिक मॉडल का न्यूरल नेटवर्क सूक्ष्म चेहरे की स्थिति बनाए रख सकता है जो MetaHuman की डिफ़ॉल्ट आराम मुद्रा से भिन्न होती है।

कब सक्षम करें:

• भाषण खंडों के बीच भावनात्मक भाव बनाए रखना
• कैरेक्टर व्यक्तित्व लक्षणों को संरक्षित करना
• सिनेमाई अनुक्रमों में दृश्य निरंतरता सुनिश्चित करना

क्षेत्रीय नियंत्रण विकल्प:

• Eye Expressions: आंखों की सिकुड़न, चौड़ीकरण और पलक की स्थिति को संरक्षित करता है
• Brow Expressions: भौंह और माथे की स्थिति बनाए रखता है
• Mouth Shape: सामान्य मुंह की वक्रता रखता है जबकि भाषण आंदोलनों (जीभ, जबड़ा) को रीसेट करने की अनुमति देता है

मौजूदा एनीमेशन के साथ संयोजन

उन्हें ओवरराइड किए बिना मौजूदा बॉडी एनीमेशन और कस्टम फेशियल एनीमेशन के साथ लिप सिंक और हंसी लागू करने के लिए:

1. अपने बॉडी एनीमेशन और अंतिम आउटपुट के बीच एक Layered blend per bone नोड जोड़ें। सुनिश्चित करें कि Use Attached Parent सत्य है।
2. लेयर सेटअप कॉन्फ़िगर करें:
   • Layer Setup सरणी में 1 आइटम जोड़ें
   • लेयर के लिए Branch Filters में 3 आइटम जोड़ें, निम्नलिखित Bone Name के साथ:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. कस्टम फेशियल एनीमेशन के लिए महत्वपूर्ण: Curve Blend Option में, "Use Max Value" चुनें। यह कस्टम फेशियल एनीमेशन (भाव, भावनाएं, आदि) को लिप सिंक के शीर्ष पर ठीक से लेयर करने की अनुमति देता है।
4. कनेक्शन बनाएं:
   • मौजूदा एनीमेशन (जैसे BodyPose) → Base Pose इनपुट
   • फेशियल एनीमेशन आउटपुट (लिप सिंक और/या हंसी नोड्स से) → Blend Poses 0 इनपुट
   • लेयर्ड ब्लेंड नोड → अंतिम Result पोज़

मॉर्फ टार्गेट सेट चयन

स्टैंडर्ड मॉडल

स्टैंडर्ड मॉडल पोज़ एसेट्स का उपयोग करता है जो स्वाभाविक रूप से कस्टम पोज़ एसेट सेटअप के माध्यम से किसी भी मॉर्फ टार्गेट नामकरण सम्मेलन का समर्थन करते हैं। किसी अतिरिक्त कॉन्फ़िगरेशन की आवश्यकता नहीं है।

रियलिस्टिक मॉडल

Blend Realistic MetaHuman Lip Sync नोड में एक Morph Target Set गुण शामिल है जो यह निर्धारित करता है कि फेशियल एनीमेशन के लिए किस मॉर्फ टार्गेट नामकरण सम्मेलन का उपयोग करना है:

मॉर्फ टार्गेट सेट	विवरण	उपयोग के मामले
MetaHuman (डिफ़ॉल्ट)	मानक MetaHuman मॉर्फ टार्गेट नाम (जैसे, CTRL_expressions_jawOpen)	MetaHuman कैरेक्टर्स
ARKit	Apple ARKit-संगत नाम (जैसे, JawOpen, MouthSmileLeft)	ARKit-आधारित कैरेक्टर्स

लिप सिंक व्यवहार को ठीक-ट्यून करना

जीभ प्रोट्रूज़न कंट्रोल

स्टैंडर्ड लिप सिंक मॉडल में, आप कुछ फोनेम्स के दौरान अत्यधिक आगे की जीभ की हरकत देख सकते हैं। जीभ प्रोट्रूज़न को नियंत्रित करने के लिए:

1. अपने लिप सिंक ब्लेंड नोड के बाद, एक Modify Curve नोड जोड़ें
2. Modify Curve नोड पर राइट-क्लिक करें और Add Curve Pin चुनें
3. नाम CTRL_expressions_tongueOut के साथ एक कर्व पिन जोड़ें
4. नोड के Apply Mode गुण को Scale पर सेट करें
5. जीभ एक्सटेंशन को नियंत्रित करने के लिए Value पैरामीटर समायोजित करें (जैसे, 0.8 प्रोट्रूज़न को 20% कम करने के लिए)

जबड़ा खोलने का नियंत्रण

रियलिस्टिक लिप सिंक आपकी ऑडियो सामग्री और दृश्य आवश्यकताओं के आधार पर अत्यधिक प्रतिक्रियाशील जबड़े की हरकतें उत्पन्न कर सकता है। जबड़ा खोलने की तीव्रता समायोजित करने के लिए:

1. अपने लिप सिंक ब्लेंड नोड के बाद, एक Modify Curve नोड जोड़ें
2. Modify Curve नोड पर राइट-क्लिक करें और Add Curve Pin चुनें
3. नाम CTRL_expressions_jawOpen के साथ एक कर्व पिन जोड़ें
4. नोड के Apply Mode गुण को Scale पर सेट करें
5. जबड़ा खोलने की रेंज को नियंत्रित करने के लिए Value पैरामीटर समायोजित करें (जैसे, 0.9 जबड़े की हरकत को 10% कम करने के लिए)

मूड-विशिष्ट ठीक-ट्यूनिंग

मूड-सक्षम मॉडल के लिए, आप विशिष्ट भावनात्मक भावों को ठीक-ट्यून कर सकते हैं:

भौंह नियंत्रण:

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - आंतरिक भौंह उठाना
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - बाहरी भौंह उठाना
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - भौंह नीचे करना

आंख भाव नियंत्रण:

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - आंखें सिकोड़ना
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - गाल उठाना

मॉडल तुलना और चयन

मॉडल के बीच चयन

जब आप अपने प्रोजेक्ट के लिए किस लिप सिंक मॉडल का उपयोग करने का निर्णय ले रहे हैं, तो इन कारकों पर विचार करें:

विचार	स्टैंडर्ड मॉडल	रियलिस्टिक मॉडल	मूड-सक्षम रियलिस्टिक मॉडल
कैरेक्टर संगतता	MetaHumans और सभी कस्टम कैरेक्टर प्रकार	केवल MetaHumans	केवल MetaHumans
दृश्य गुणवत्ता	कुशल प्रदर्शन के साथ अच्छा लिप सिंक	अधिक प्राकृतिक मुंह की हरकतों के साथ बढ़ी हुई यथार्थवादिता	भावनात्मक भावों के साथ बढ़ी हुई यथार्थवादिता
प्रदर्शन	मोबाइल/VR सहित सभी प्लेटफ़ॉर्म के लिए अनुकूलित	उच्च संसाधन आवश्यकताएं	उच्च संसाधन आवश्यकताएं
सुविधाएँ	14 विसेम्स, हंसी का पता लगाना	81 चेहरे के नियंत्रण, 3 अनुकूलन स्तर	81 चेहरे के नियंत्रण, 12 मूड, विन्यास योग्य आउटपुट
प्लेटफ़ॉर्म समर्थन	Windows, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest	Windows, Mac, iOS, Linux, Android, Quest
उपयोग के मामले	सामान्य अनुप्रयोग, गेम्स, VR/AR, मोबाइल	सिनेमाई अनुभव, क्लोज-अप इंटरैक्शन	भावनात्मक कहानी कहना, उन्नत कैरेक्टर इंटरैक्शन

इंजन संस्करण संगतता

UE 5.2 संगतता समस्या

यदि आप Unreal Engine 5.2 का उपयोग कर रहे हैं, तो रियलिस्टिक मॉडल UE के रीसैंपलिंग लाइब्रेरी में एक बग के कारण सही ढंग से काम नहीं कर सकते हैं। UE 5.2 उपयोगकर्ताओं के लिए जिन्हें विश्वसनीय लिप सिंक कार्यक्षमता की आवश्यकता है, कृपया इसके बजाय स्टैंडर्ड मॉडल का उपयोग करें।

यह समस्या विशेष रूप से UE 5.2 के लिए है और अन्य इंजन संस्करणों को प्रभावित नहीं करती है।

प्रदर्शन अनुशंसाएँ

• अधिकांश प्रोजेक्ट्स के लिए, स्टैंडर्ड मॉडल गुणवत्ता और प्रदर्शन का उत्कृष्ट संतुलन प्रदान करता है
• रियलिस्टिक मॉडल का उपयोग करें जब आपको MetaHuman कैरेक्टर्स के लिए उच्चतम दृश्य निष्ठा की आवश्यकता हो
• मूड-सक्षम रियलिस्टिक मॉडल का उपयोग करें जब आपके अनुप्रयोग के लिए भावनात्मक अभिव्यक्ति नियंत्रण महत्वपूर्ण हो
• मॉडल के बीच चय