मुख्य कंटेंट तक स्किप करें

प्लगइन को कस्टम कैरेक्टर्स के साथ कैसे उपयोग करें

यह गाइड आपको गैर-मेटाह्यूमन कैरेक्टर्स के लिए Runtime MetaHuman Lip Sync सेटअप करने की प्रक्रिया के माध्यम से ले जाती है। इस प्रक्रिया के लिए एनीमेशन अवधारणाओं और रिगिंग की परिचितता आवश्यक है। यदि आपको अपने विशिष्ट कैरेक्टर के लिए इसे लागू करने में सहायता की आवश्यकता है, तो आप [email protected] पर पेशेवर सहायता के लिए संपर्क कर सकते हैं।

लिप सिंक मॉडल्स के बारे में महत्वपूर्ण नोट​

⚠️ कस्टम कैरेक्टर्स केवल स्टैंडर्ड (फास्टर) मॉडल के साथ समर्थित हैं।

रियलिस्टिक (हायर क्वालिटी) मॉडल विशेष रूप से मेटाह्यूमन कैरेक्टर्स के लिए डिज़ाइन किया गया है और इसे कस्टम कैरेक्टर्स के साथ उपयोग नहीं किया जा सकता। इस गाइड के दौरान, जब संदर्भित किया जाए, तो आपको मुख्य सेटअप गाइड से स्टैंडर्ड मॉडल निर्देशों का पालन करना चाहिए।

पूर्वापेक्षाएँ​

शुरू करने से पहले, सुनिश्चित करें कि आपका कैरेक्टर इन आवश्यकताओं को पूरा करता है:

  • एक वैध स्केलेटन है
  • चेहरे के भावों के लिए मॉर्फ टार्गेट्स (ब्लेंड शेप्स) शामिल हैं
  • आदर्श रूप में विसेम्स को परिभाषित करने वाले 10+ मॉर्फ टार्गेट्स हैं (अधिक विसेम्स = बेहतर लिप सिंक क्वालिटी)

प्लगइन को आपके कैरेक्टर के मॉर्फ टार्गेट्स को निम्नलिखित मानक विसेम्स में मैप करने की आवश्यकता होती है:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

नोट: यदि आपके कैरेक्टर में विज़म का एक अलग सेट है (जो संभावित है), तो आपको प्रत्येक विज़म के लिए सटीक मिलान की आवश्यकता नहीं है। अनुमानित मिलान अक्सर पर्याप्त होते हैं—उदाहरण के लिए, आपके कैरेक्टर के SH विज़म को प्लगइन के CH विज़म से मैप करना प्रभावी रूप से काम करेगा क्योंकि वे निकट से संबंधित पोस्टअल्वियोलर ध्वनियाँ हैं।

विज़म मैपिंग संदर्भ​

यहाँ सामान्य विज़म सिस्टम और प्लगइन के आवश्यक विज़म के बीच मैपिंग दी गई है:

ARKit फेशियल एनीमेशन के लिए ब्लेंडशेप्स का एक व्यापक सेट प्रदान करता है, जिसमें कई माउथ शेप्स शामिल हैं। यहाँ बताया गया है कि उन्हें RuntimeMetaHumanLipSync विज़म से कैसे मैप करें:

RuntimeMetaHumanLipSync विज़मARKit समकक्षनोट्स
SilmouthCloseन्यूट्रल/आराम की स्थिति
PPmouthPressLeft + mouthPressRightबिलैबियल ध्वनियों के लिए, दोनों प्रेस शेप्स को एक साथ उपयोग करें
FFlowerLipBiteLeft + lowerLipBiteRightये "f/v" लिप-टू-टीथ कॉन्टैक्ट बनाते हैं
THtongueOutARKit में सीधी टंग कंट्रोल है
DDjawOpen (हल्का) + tongueUpहल्का जॉ खोलने के साथ टंग पोजिशन को कंबाइन करें
KKmouthLeft या mouthRight (हल्का)वेलर ध्वनियों के लिए माउथ कॉर्नर को हल्का खींचें
CHjawOpen (हल्का) + mouthFunnel (हल्का)पोस्टअल्वियोलर ध्वनियों के लिए कंबाइन करें
SSmouthFrownसिबिलेंट्स के लिए हल्का फ्राउन उपयोग करें
NNjawOpen (बहुत हल्का) + mouthCloseलगभग बंद माउथ के साथ हल्का जॉ खोलना
RRmouthPucker (हल्का)आर-साउंड्स के लिए हल्का राउंडिंग
AAjawOpen + mouthOpenवाइड ओपन वॉवेल साउंड्स के लिए कंबाइन करें
EjawOpen (हल्का) + mouthSmileमिड-ओपन पोजिशन के साथ हल्का स्माइल
IHmouthSmile (हल्का)होंठों को हल्का फैलाएं
OHmouthFunnelराउंडेड ओपन शेप
OUmouthPuckerटाइटली राउंडेड लिप्स

कस्टम पोज़ एसेट बनाना​

अपने कैरेक्टर के लिए एक कस्टम पोज़ एसेट बनाने के लिए इन चरणों का पालन करें जिसका उपयोग Blend Runtime MetaHuman Lip Sync नोड के साथ किया जाएगा:

1. अपने कैरेक्टर का स्केलेटल मेश लोकेट करें​

वह स्केलेटल मेश ढूंढें जिसमें मॉर्फ टार्गेट्स (ब्लेंड शेप्स) हैं जिनका उपयोग आप लिप सिंक एनीमेशन के लिए करना चाहते हैं। यह आपके कैरेक्टर के डिज़ाइन के आधार पर एक फुल-बॉडी मेश या सिर्फ एक फेस मेश हो सकता है।

2. उपलब्ध मॉर्फ टार्गेट्स वेरिफाई करें​

सुनिश्चित करें कि आपके स्केलेटल मेश में उपयुक्त मॉर्फ टार्गेट्स हैं जिनका उपयोग लिप सिंक एनीमेशन के लिए विज़म के रूप में किया जा सकता है। फेशियल एनीमेशन सपोर्ट वाले अधिकांश कैरेक्टर्स में कुछ फोनेम/विज़म मॉर्फ टार्गेट्स होने चाहिए।

एक कैरेक्टर में मॉर्फ टार्गेट्स का उदाहरण

3. एक रेफरेंस पोज़ एनीमेशन बनाएं​

  1. Create Asset -> Create Animation -> Reference Pose पर जाएं
  2. एनीमेशन सीक्वेंस के लिए एक डिस्क्रिप्टिव नाम दर्ज करें और इसे उपयुक्त लोकेशन में सेव करें
  3. बनाया गया एनीमेशन सीक्वेंस ऑटोमेटिकली खुलेगा, जिसमें एक खाली एनीमेशन लूप में चल रहा होगा

एक रेफरेंस पोज़ एसेट बनाना रेफरेंस पोज़ एसेट को नाम देना

  1. एडिटिंग को आसान बनाने के लिए एनीमेशन प्लेबैक को रोकने के लिए Pause बटन पर क्लिक करें

एनीमेशन प्लेबैक को पॉज़ करना

4. एनीमेशन सीक्वेंस को एडिट करें​

  1. Edit in Sequencer -> Edit with FK Control Rig पर क्लिक करें
  2. Bake to Control Rig डायलॉग में, बिना किसी सेटिंग को बदले Bake to Control Rig बटन पर क्लिक करें

FK कंट्रोल रिग के साथ एडिटिंग कंट्रोल रिग में बेक करना

  1. एडिटर Animation Mode में स्विच हो जाएगा जिसमें Sequencer टैब खुला होगा
  2. View Range End Time को 0016 पर सेट करें (जो ऑटोमेटिकली Working Range End को भी 0016 पर सेट कर देगा)
  3. स्लाइडर के राइट एज को सीक्वेंसर विंडो के राइट एंड तक ड्रैग करें

5. एनीमेशन कर्व्स तैयार करें​

  1. एनीमेशन सीक्वेंस एसेट पर वापस जाएं और Curves सूची में मॉर्फ टार्गेट्स ढूंढें (अगर वे दिखाई नहीं दे रहे हैं, तो एनीमेशन सीक्वेंस एसेट को बंद करके फिर से खोलें)
  2. उन मॉर्फ टार्गेट्स को हटा दें जो विसेम्स या मुंह की गतिविधियों से संबंधित नहीं हैं जिन्हें आप लिप सिंक के लिए उपयोग करना चाहते हैं

6. अपने विसेम मैपिंग की योजना बनाएं​

प्लगइन के आवश्यक सेट से मेल खाने के लिए अपने कैरेक्टर के विसेम की मैपिंग योजना बनाएं। उदाहरण के लिए:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

ध्यान दें कि यह स्वीकार्य है कि जब आपके कैरेक्टर के विसेम सेट में हर आवश्यक विसेम के लिए सटीक मिलान नहीं होता है, तो आप दोहराए गए मैपिंग का उपयोग कर सकते हैं।

7. प्रत्येक विसेम को एनिमेट करें​

  1. प्रत्येक विसेम के लिए, संबंधित मॉर्फ टार्गेट कर्व्स को 0.0 से 1.0 तक एनिमेट करें
  2. प्रत्येक विसेम एनीमेशन को अलग-अलग फ्रेम पर शुरू करें
  3. प्राकृतिक दिखने वाले विसेम शेप्स बनाने के लिए अतिरिक्त कर्व्स को कॉन्फ़िगर करें (जॉ/माउथ ओपनिंग, टंग पोजिशन, आदि)

8. एक पोज़ एसेट बनाएं​

  1. Create Asset -> Pose Asset -> Current Animation पर जाएं
  2. पोज़ एसेट के लिए एक वर्णनात्मक नाम दर्ज करें और इसे उचित स्थान पर सहेजें
  3. बनाया गया पोज़ एसेट स्वचालित रूप से खुलेगा, जिसमें Pose_0, Pose_1 आदि जैसे पोज़ दिखाई देंगे, जो प्रत्येक एक विसेम से मेल खाते हैं
  4. विसेम वेट्स का पूर्वावलोकन करें यह सुनिश्चित करने के लिए कि वे अपेक्षित रूप से काम करते हैं

Creating a pose asset Naming the pose asset Pose asset with visemes

9. पोज़ एसेट को अंतिम रूप दें​

  1. प्रत्येक पोज़ का नाम बदलकर पूर्वापेक्षाएँ अनुभाग से विसेम नामों से मेल खाता हुआ करें
  2. किसी भी अनुपयोगी पोज़ को हटा दें

ऑडियो हैंडलिंग और ब्लेंडिंग सेटअप करना​

एक बार आपका पोज़ एसेट तैयार हो जाने के बाद, आपको ऑडियो हैंडलिंग और ब्लेंडिंग नोड्स सेटअप करने की आवश्यकता है:

  1. अपने कैरेक्टर का एनीमेशन ब्लूप्रिंट ढूंढें या बनाएं
  2. स्टैंडर्ड प्लगइन सेटअप गाइड में दस्तावेज किए गए समान चरणों का पालन करके ऑडियो हैंडलिंग और ब्लेंडिंग सेटअप करें
  3. Blend Runtime MetaHuman Lip Sync नोड में, डिफ़ॉल्ट MetaHuman पोज़ एसेट के बजाय अपना कस्टम पोज़ एसेट चुनें

कस्टम पोज़ एसेट का चयन

बॉडी एनीमेशन के साथ संयोजन​

यदि आप अन्य बॉडी एनीमेशन के साथ लिप सिंक करना चाहते हैं:

  1. स्टैंडर्ड प्लगइन गाइड में दस्तावेज किए गए समान चरणों का पालन करें
  2. MetaHuman बोन नामों का उपयोग करने के बजाय अपने कैरेक्टर की नेक स्केलेटन के लिए सही बोन नाम प्रदान करना सुनिश्चित करें

परिणाम​

यहां इस सेटअप का उपयोग करने वाले कस्टम कैरेक्टर के उदाहरण दिए गए हैं:

उदाहरण 1: कस्टम कैरेक्टर के साथ लिप सिंक

उदाहरण 2: अलग विसेम सिस्टम के ��साथ लिप सिंक

उदाहरण 3: अलग विसेम सिस्टम के साथ लिप सिंक

लिप सिंक की गुणवत्ता काफी हद तक विशिष्ट कैरेक्टर और उसके विसेम कितने अच्छे तरीके से सेटअप किए गए हैं, पर निर्भर करती है। उपरोक्त उदाहरण विभिन्न प्रकार के कस्टम कैरेक्टर के साथ प्लगइन के काम करने को प्रदर्शित करते हैं जिनमें अलग-अलग विसेम सिस्टम हैं।