सेटअप गाइड

यह गाइड आपको अपने MetaHuman कैरेक्टर्स के साथ Runtime MetaHuman Lip Sync के बेसिक सेटअप प्रोसेस के माध्यम से ले जाती है।

नोट: Runtime MetaHuman Lip Sync दोनों MetaHuman और कस्टम कैरेक्टर्स के साथ काम करती है। कस्टम कैरेक्टर्स को सेटअप करने के डिटेल्ड इंस्ट्रक्शंस के लिए, कस्टम कैरेक्टर सेटअप गाइड देखें।

पूर्वापेक्षाएँ

शुरू करने से पहले, सुनिश्चित करें:

1. MetaHuman प्लगइन आपके प्रोजेक्ट में एनेबल है (नोट: UE 5.6 से शुरू होकर, यह स्टेप अब आवश्यक नहीं है क्योंकि MetaHuman फंक्शनैलिटी सीधे इंजन में इंटीग्रेटेड है)
2. आपके पास कम से कम एक MetaHuman कैरेक्टर डाउनलोड किया हुआ है और आपके प्रोजेक्ट में उपलब्ध है
3. Runtime MetaHuman Lip Sync प्लगइन इंस्टॉल है

स्टैंडर्ड मॉडल एक्सटेंशन प्लगइन

अगर आप स्टैंडर्ड मॉडल का उपयोग करने की योजना बना रहे हैं, तो आपको एक्सटेंशन प्लगइन इंस्टॉल करने की आवश्यकता होगी:

1. स्टैंडर्ड Lip Sync एक्सटेंशन प्लगइन को Google Drive से डाउनलोड करें
2. डाउनलोड की गई आर्काइव से फोल्डर को आपके प्रोजेक्ट के Plugins फोल्डर में एक्सट्रैक्ट करें (अगर यह फोल्डर मौजूद नहीं है तो इसे बनाएं)
3. सुनिश्चित करें कि आपका प्रोजेक्ट C++ प्रोजेक्ट के रूप में सेटअप है (भले ही आपके पास कोई C++ कोड न हो)
4. अपने प्रोजेक्ट को रीबिल्ड करें

note

• यह एक्सटेंशन केवल तभी आवश्यक है अगर आप स्टैंडर्ड मॉडल का उपयोग करना चाहते हैं। अगर आपको केवल रियलिस्टिक मॉडल्स की आवश्यकता है, तो आप इस स्टेप को छोड़ सकते हैं।
• प्लगइन्स को मैन्युअली बिल्ड करने के तरीके के बारे में अधिक जानकारी के लिए, बिल्डिंग प्लगइन्स ट्यूटोरियल देखें

अतिरिक्त प्लगइन्स

• अगर आप ऑडियो कैप्चर (जैसे, माइक्रोफोन इनपुट) का उपयोग करने की योजना बना रहे हैं, तो Runtime Audio Importer प्लगइन इंस्टॉल करें।
• अगर आप टेक्स्ट-टू-स्पीच फंक्शनैलिटी का उपयोग करने की योजना बना रहे हैं:
  • लोकल TTS (केवल स्टैंडर्ड मॉडल) के लिए, Runtime Text To Speech प्लगइन इंस्टॉल करें।
  • एक्सटर्नल TTS प्रोवाइडर्स (ElevenLabs, OpenAI) के लिए, Runtime AI Chatbot Integrator प्लगइन इंस्टॉल करें।

एनिमेशन ब्लूप्रिंट सेटअप

स्टेप 1: फेस एनिमेशन ब्लूप्रिंट को लोकेट और मॉडिफाई करें

UE 5.5 और पहले (या UE 5.6+ में लेगेसी MetaHumans)

आपको एक एनिमेशन ब्लूप्रिंट को मॉडिफाई करने की आवश्यकता है जो आपके MetaHuman कैरेक्टर के फेशियल एनिमेशंस के लिए उपयोग किया जाएगा। डिफ़ॉल्ट MetaHuman फेस एनिमेशन ब्लूप्रिंट यहाँ स्थित है:

Content/MetaHumans/Common/Face/Face_AnimBP

आपके पास लिप सिंक कार्यक्षमता को लागू करने के लिए कई विकल्प हैं:

डिफ़ॉल्ट एसेट को सीधे संपादित करें (सबसे सरल विकल्प)

डिफ़ॉल्ट Face_AnimBP को सीधे खोलें और अपने संशोधन करें। कोई भी परिवर्तन इस एनिमेशन ब्लूप्रिंट का उपयोग करने वाले सभी MetaHuman कैरेक्टर्स को प्रभावित करेगा।

नोट: यह दृष्टिकोण सुविधाजनक है लेकिन डिफ़ॉल्ट एनिमेशन ब्लूप्रिंट का उपयोग करने वाले सभी कैरेक्टर्स को प्रभावित करेगा।

डुप्लिकेट बनाएं

1. Face_AnimBP की डुप्लिकेट बनाएं और उसे एक वर्णनात्मक नाम दें
2. अपने कैरेक्टर की ब्लूप्रिंट क्लास ढूंढें (उदाहरण के लिए, कैरेक्टर "Bryan" के लिए, यह Content/MetaHumans/Bryan/BP_Bryan पर होगी)
3. कैरेक्टर ब्लूप्रिंट खोलें और Face कंपोनेंट ढूंढें
4. Anim Class प्रॉपर्टी को अपनी नव निर्मित डुप्लिकेट एनिमेशन ब्लूप्रिंट में बदलें

नोट: यह दृष्टिकोण आपको विशिष्ट कैरेक्टर्स के लिए लिप सिंक को अनुकूलित करने की अनुमति देता है जबकि अन्य को अपरिवर्तित छोड़ देता है।

कस्टम एनिमेशन ब्लूप्रिंट का उपयोग करें

आप लिप सिंक ब्लेंडिंग को किसी भी एनिमेशन ब्लूप्रिंट में लागू कर सकते हैं जिसकी आवश्यक फेशियल बोन्स तक पहुंच हो:

1. एक कस्टम एनिमेशन ब्लूप्रिंट बनाएं या मौजूदा का उपयोग करें
2. सुनिश्चित करें कि आपकी एनिमेशन ब्लूप्रिंट एक स्केलेटन के साथ काम करती है जिसमें डिफ़ॉल्ट MetaHuman के Face_Archetype_Skeleton के समान फेशियल बोन्स हैं

नोट: यह दृष्टिकोण आपको कस्टम एनिमेशन सिस्टम के साथ एकीकरण के लिए अधिकतम लचीलापन प्रदान करता है।

UE 5.6+ MetaHuman Creator कैरेक्टर्स

UE 5.6 से शुरू होकर, नई MetaHuman Creator सिस्टम पेश की गई थी। इन कैरेक्टर्स के लिए, प्लगइन एक फेस एनिमेशन ब्लूप्रिंट प्रदान करता है जो यहां स्थित है:

Content/LipSyncData/LipSync_Face_AnimBP

महत्वपूर्ण

यह Animation Blueprint प्लगइन की कंटेंट फ़ोल्डर में स्थित है और प्रत्येक प्लगइन अपडेट के साथ ओवरराइट हो जाएगा। अपने कस्टमाइज़ेशन को खोने से बचाने के लिए:

1. इस एसेट को अपने प्रोजेक्ट की Content फ़ोल्डर में कॉपी करें (उदाहरण के लिए, YourProject/Content/MetaHumans/LipSync_Face_AnimBP में)
2. अपने कैरेक्टर सेटअप में अपनी कॉपी किए गए वर्ज़न का उपयोग करें
3. अपने सभी संशोधन कॉपी किए गए वर्ज़न में करें

प्लगइन के Face Animation Blueprint का उपयोग करना:

1. अपने MetaHuman Creator कैरेक्टर की Blueprint क्लास का पता लगाएं
2. कैरेक्टर Blueprint को खोलें और Face कंपोनेंट ढूंढें
3. Anim Class प्रॉपर्टी को प्लगइन के LipSync_Face_AnimBP में बदलें
4. Runtime MetaHuman Lip Sync फंक्शनैलिटी को कॉन्फ़िगर करने के लिए अगले चरणों के साथ जारी रखें

चरण 2: Event Graph सेटअप

अपना Face Animation Blueprint खोलें और Event Graph पर स्विच करें। आपको एक जेनरेटर बनाने की आवश्यकता होगी जो ऑडियो डेटा को प्रोसेस करेगा और लिप सिंक एनीमेशन जेनरेट करेगा।

Standard Model

1. Event Blueprint Begin Play नोड जोड़ें यदि यह पहले से मौजूद नहीं है
2. Create Runtime Viseme Generator नोड जोड़ें और इसे Begin Play इवेंट से कनेक्ट करें
3. आउटपुट को एक वेरिएबल के रूप में सेव करें (जैसे "VisemeGenerator") ग्राफ के अन्य भागों में उपयोग के लिए

विस्तृत कॉन्फ़िगरेशन विकल्पों के लिए, Standard Model Configuration सेक्शन देखें।

Realistic Model

1. Event Blueprint Begin Play नोड जोड़ें यदि यह पहले से मौजूद नहीं है
2. Create Realistic MetaHuman Lip Sync Generator नोड जोड़ें और इसे Begin Play इवेंट से कनेक्ट करें
3. आउटपुट को एक वेरिएबल के रूप में सेव करें (जैसे "RealisticMetaHumanLipSyncGenerator") ग्राफ के अन्य भागों में उपयोग के लिए
4. (वैकल्पिक) कॉन्फ़िगरेशन पैरामीटर का उपयोग करके जेनरेटर सेटिंग्स कॉन्फ़िगर करें

मॉडल प्रकार, परफॉर्मेंस सेटिंग्स, और प्रोसेसिंग पैरामीटर सहित विस्तृत कॉन्फ़िगरेशन विकल्पों के लिए, Realistic Model Configuration सेक्शन देखें।

Mood-Enabled Realistic Model

1. Event Blueprint Begin Play नोड जोड़ें यदि यह पहले से मौजूद नहीं है
2. Create Realistic MetaHuman Lip Sync With Mood Generator नोड जोड़ें और इसे Begin Play इवेंट से कनेक्ट करें
3. आउटपुट को एक वेरिएबल के रूप में सेव करें (जैसे "MoodMetaHumanLipSyncGenerator") ग्राफ के अन्य भागों में उपयोग के लिए
4. (वैकल्पिक) कॉन्फ़िगरेशन पैरामीटर का उपयोग करके जेनरेटर सेटिंग्स कॉन्फ़िगर करें

मूड कॉन्फ़िगरेशन सहित विस्तृत जानकारी के लिए मूड प्रकार, तीव्रता सेटिंग्स, लुकअहेड टाइमिंग, और आउटपुट प्रकार चयन के लिए, मूड-सक्षम मॉडल कॉन्फ़िगरेशन अनुभाग देखें।

चरण 3: एनिम ग्राफ़ सेटअप

इवेंट ग्राफ़ सेटअप करने के बाद, जनरेटर को कैरेक्टर की एनिमेशन से जोड़ने के लिए Anim Graph पर स्विच करें:

स्टैंडर्ड मॉडल

1. वह पोज़ ढूंढें जिसमें मेटाह्यूमन फेस है (आमतौर पर Use cached pose 'Body Pose' से)
2. Blend Runtime MetaHuman Lip Sync नोड जोड़ें
3. पोज़ को Blend Runtime MetaHuman Lip Sync नोड के Source Pose से कनेक्ट करें
4. अपने VisemeGenerator वेरिएबल को Viseme Generator पिन से कनेक्ट करें
5. Blend Runtime MetaHuman Lip Sync नोड के आउटपुट को Output Pose के Result पिन से कनेक्ट करें

यथार्थवादी मॉडल

1. वह पोज़ ढूंढें जिसमें मेटाह्यूमन फेस है (आमतौर पर Use cached pose 'Body Pose' से)
2. Blend Realistic MetaHuman Lip Sync नोड जोड़ें
3. पोज़ को Blend Realistic MetaHuman Lip Sync नोड के Source Pose से कनेक्ट करें
4. अपने RealisticMetaHumanLipSyncGenerator वेरिएबल को Lip Sync Generator पिन से कनेक्ट करें
5. Blend Realistic MetaHuman Lip Sync नोड के आउटपुट को Output Pose के Result पिन से कनेक्ट करें

मूड-सक्षम यथार्थवादी मॉडल

1. वह पोज़ ढूंढें जिसमें मेटाह्यूमन फेस है (आमतौर पर Use cached pose 'Body Pose' से)
2. Blend Realistic MetaHuman Lip Sync नोड जोड़ें (नियमित यथार्थवादी मॉडल के समान नोड)
3. पोज़ को Blend Realistic MetaHuman Lip Sync नोड के Source Pose से कनेक्ट करें
4. अपने MoodMetaHumanLipSyncGenerator वेरिएबल को Lip Sync Generator पिन से कनेक्ट करें
5. Blend Realistic MetaHuman Lip Sync नोड के आउटपुट को Output Pose के Result पिन से कनेक्ट करें

नोट: मूड-सक्षम मॉडल नियमित यथार्थवादी मॉडल के समान ही एनिमेशन ब्लूप्रिंट नोड का उपयोग करता है। मूड कार्यक्षमता आंतरिक रूप से जनरेटर द्वारा संभाली जाती है।

अगले चरण

अब जब आपका बेसिक एनिमेशन ब्लूप्रिंट सेटअप पूरा हो गया है, तो आपको अपने लिप सिंक जनरेटर को ऑडियो डेटा फीड करने के लिए ऑडियो इनपुट प्रोसेसिंग कॉन्फ़िगर करनी होगी।

विभिन्न ऑडियो इनपुट विधियों जैसे माइक्रोफोन कैप्चर, टेक्स्ट-टू-स्पीच, और ऑडियो फ़ाइल प्रोसेसिंग को सेटअप करना सीखने के लिए ऑडियो प्रोसेसिंग गाइड पर आगे बढ़ें। उन्नत कॉन्फ़िगरेशन विकल्पों और फाइन-ट्यूनिंग के लिए, कॉन्फ़िगरेशन गाइड देखें।