प्लगइन को कस्टम कैरेक्टर्स के साथ कैसे उपयोग करें

यह गाइड आपको गैर-मेटाह्यूमन कैरेक्टर्स के लिए Runtime MetaHuman Lip Sync सेट करने की प्रक्रिया के माध्यम से ले जाती है। इस प्रक्रिया के लिए एनीमेशन अवधारणाओं और रिगिंग की परिचितता आवश्यक है। यदि आपको अपने विशिष्ट कैरेक्टर के लिए इसे लागू करने में सहायता की आवश्यकता है, तो आप [email protected] पर पेशेवर सहायता के लिए संपर्क कर सकते हैं।

लिप सिंक मॉडल के बारे में महत्वपूर्ण नोट

कस्टम कैरेक्टर संगतता

कस्टम कैरेक्टर्स केवल स्टैंडर्ड (फास्टर) मॉडल के साथ समर्थित हैं।

रियलिस्टिक (हायर क्वालिटी) मॉडल विशेष रूप से मेटाह्यूमन कैरेक्टर्स के लिए डिज़ाइन किया गया है और इसे कस्टम कैरेक्टर्स के साथ उपयोग नहीं किया जा सकता। इस गाइड में, जब संदर्भित किया जाए, तो आपको मुख्य सेटअप गाइड से स्टैंडर्ड मॉडल निर्देशों का पालन करना चाहिए।

एक्सटेंशन प्लगइन आवश्यक: कस्टम कैरेक्टर्स के साथ स्टैंडर्ड मॉडल का उपयोग करने के लिए, आपको मुख्य सेटअप गाइड के पूर्वापेक्षाएँ अनुभाग में वर्णित स्टैंडर्ड लिप सिंक एक्सटेंशन प्लगइन इंस्टॉल करना होगा।

यह एक्सटेंशन इस गाइड में वर्णित सभी कस्टम कैरेक्टर कार्यान्वयन के लिए आवश्यक है।

पूर्वापेक्षाएँ

शुरू करने से पहले, सुनिश्चित करें कि आपका कैरेक्टर इन आवश्यकताओं को पूरा करता है:

• एक वैध कंकाल है
• चेहरे के भावों के लिए मॉर्फ टार्गेट्स (ब्लेंड शेप्स) शामिल हैं
• आदर्श रूप में विसेम्स को परिभाषित करने वाले 10+ मॉर्फ टार्गेट्स हैं (अधिक विसेम्स = बेहतर लिप सिंक गुणवत्ता)

प्लगइन को आपके कैरेक्टर के मॉर्फ टार्गेट्स को निम्नलिखित मानक विसेम्स में मैप करने की आवश्यकता होती है:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

नोट: यदि आपके कैरेक्टर में विज़म का एक अलग सेट है (जो संभावित है), तो आपको प्रत्येक विज़म के लिए सटीक मिलान की आवश्यकता नहीं है। अनुमानित मिलान अक्सर पर्याप्त होते हैं—उदाहरण के लिए, आपके कैरेक्टर के SH विज़म को प्लगइन के CH विज़म पर मैप करना प्रभावी रूप से काम करेगा क्योंकि वे निकट से संबंधित पोस्टल्वियोलर ध्वनियाँ हैं।

विज़म मैपिंग संदर्भ

यहाँ सामान्य विज़म सिस्टम और प्लगइन के आवश्यक विज़म के बीच मैपिंग दी गई हैं:

Apple ARKit

ARKit फेशियल एनीमेशन के लिए ब्लेंडशेप्स का एक व्यापक सेट प्रदान करता है, जिसमें कई माउथ शेप्स शामिल हैं। यहाँ बताया गया है कि उन्हें RuntimeMetaHumanLipSync विज़म पर कैसे मैप करें:

RuntimeMetaHumanLipSync विज़म	ARKit समकक्ष	नोट्स
Sil	mouthClose	न्यूट्रल/रेस्ट पोजिशन
PP	mouthPressLeft + mouthPressRight	बिलैबियल साउंड्स के लिए, दोनों प्रेस शेप्स को एक साथ उपयोग करें
FF	lowerLipBiteLeft + lowerLipBiteRight (या mouthRollLower)	लोअर लिप अपर टीथ से संपर्क करती है, जैसे "f" और "v" साउंड्स में
TH	tongueOut	ARKit में डायरेक्ट टंग कंट्रोल है
DD	jawOpen (माइल्ड) + tongueUp (यदि आपके पास टंग रिग है)	टंग अल्वियोलर रिज को छूती है; थोड़ा जॉ ड्रॉप
KK	mouthLeft या mouthRight (माइल्ड)	सबटल माउथ कॉर्नर पुल वेलर साउंड्स को अनुमानित करता है
CH	jawOpen (माइल्ड) + mouthFunnel (माइल्ड)	पोस्टल्वियोलर साउंड्स के लिए कॉम्बाइन करें
SS	mouthFrown	सिबिलेंट्स के लिए थोड़ा फ्राउन उपयोग करें
NN	jawOpen (बहुत माइल्ड) + mouthClose	लगभग बंद माउथ के साथ थोड़ा जॉ ओपनिंग
RR	mouthPucker (माइल्ड)	आर-साउंड्स के लिए सबटल राउंडिंग
AA	jawOpen + mouthStretchLeft + mouthStretchRight (या jawOpen + mouthOpen)	"आह" साउंड के लिए वाइड ओपन माउथ
E	jawOpen (माइल्ड) + mouthSmile	मिड-ओपन पोजिशन के साथ थोड़ा स्माइल
IH	mouthSmile (माइल्ड)	होंठों का थोड़ा स्प्रेडिंग
OH	mouthFunnel	राउंडेड ओपन शेप
OU	mouthPucker	टाइटली राउंडेड लिप्स

FACS-Based Systems

FACS (फेशियल एक्शन कोडिंग सिस्टम) फेशियल मूवमेंट्स को डिस्क्राइब करने के लिए एक्शन यूनिट्स (AUs) का उपयोग करता है। कई प्रोफेशनल एनीमेशन सिस्टम FACS-आधारित अप्रोच का उपयोग करते हैं:

RuntimeMetaHumanLipSync विज़म	FACS एक्शन यूनिट्स	नोट्स
Sil	न्यूट्रल	कोई एक्टिव AUs नहीं
PP	AU23 + AU24	लिप प्रेसर + लिप टाइटनर
FF	AU22 + AU28	लिप फनलर + लिप सक
TH	AU25 (माइल्ड) + AU27	लिप्स अपार्ट + माउथ स्ट्रेच
DD	AU25 + AU16	लिप्स अपार्ट + लोअर लिप डिप्रेसर
KK	AU26 + AU14	जॉ ड्रॉप + डिम्पलर
CH	AU18 + AU25	लिप पकर + लिप्स अपार्ट
SS	AU20	लिप स्ट्रेचर
NN	AU25 (बहुत माइल्ड)	थोड़ा लिप्स अपार्ट
RR	AU18 (माइल्ड)	माइल्ड लिप पकर
AA	AU27 + AU26	माउथ स्ट्रेच + जॉ ड्रॉप
E	AU25 + AU12	लिप्स अपार्ट + लिप कॉर्नर पुलर
IH	AU12 + AU25 (माइल्ड)	लिप कॉर्नर पुलर + माइल्ड लिप्स अपार्ट
OH	AU27 (माइल्ड) + AU18	माइल्ड माउथ स्ट्रेच + लिप पकर
OU	AU18 + AU26 (माइल्ड)	लिप पकर + माइल्ड जॉ ड्रॉप

Preston Blair System

प्रेस्टन ब्लेयर सिस्टम एक क्लासिक एनीमेशन मानक है जो मुंह के आकारों के लिए वर्णनात्मक नामों का उपयोग करता है:

RuntimeMetaHumanLipSync Viseme	Preston Blair	नोट्स
Sil	Rest	तटस्थ बंद मुंह की स्थिति
PP	MBP	क्लासिक "MBP" मुंह आकार
FF	FV	निचले होंठ पर दांतों के साथ "FV" स्थिति
TH	TH	सामने के दांतों को छूती जीभ
DD	D/T/N	इन व्यंजनों के लिए समान स्थिति
KK	CKG	कठोर व्यंजन स्थिति
CH	CH/J/SH	इन ध्वनियों के लिए हल्का मुंह बनाना
SS	S/Z	थोड़ा खुले दांतों की स्थिति
NN	N/NG/L	D/T के समान लेकिन अलग जीभ स्थिति
RR	R	R ध्वनि के लिए गोल होंठ
AA	AI	चौड़ा खुला मुंह
E	EH	मध्यम खुला मुंह
IH	EE	फैले होंठ
OH	OH	गोल मध्यम खुलना
OU	OO	कसकर गोल होंठ

3ds Max Phoneme System

3ds Max अपने कैरेक्टर स्टूडियो के लिए एक फोनेम-आधारित सिस्टम का उपयोग करता है:

RuntimeMetaHumanLipSync Viseme	3ds Max Phoneme	नोट्स
Sil	rest	डिफ़ॉल्ट मुंह स्थिति
PP	p_b_m	सीधा समतुल्य
FF	f_v	सीधा समतुल्य
TH	th	सीधा समतुल्य
DD	t_d	सीधा समतुल्य
KK	k_g	सीधा समतुल्य
CH	sh_zh_ch	संयुक्त आकार
SS	s_z	सीधा समतुल्य
NN	n_l	इन ध्वनियों के लिए संयुक्त
RR	r	सीधा समतुल्य
AA	ah	खुला स्वर ध्वनि
E	eh	मध्य स्वर
IH	ee	करीबी सामने का स्वर
OH	oh	पीछे गोल स्वर
OU	oo	करीबी पीछे का स्वर

Custom Characters (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)

विज़ेम या मुंह ब्लेंड शेप्स/मॉर्फ टार्गेट्स (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, आदि) वाले कस्टम कैरेक्टर्स को आमतौर पर प्लगइन के विज़ेम सिस्टम में उचित अनुमानों के साथ मैप किया जा सकता है।

एक कस्टम पोज़ एसेट बनाना

अपने कैरेक्टर के लिए एक कस्टम पोज़ एसेट बनाने के लिए इन चरणों का पालन करें जिसका उपयोग Blend Runtime MetaHuman Lip Sync नोड के साथ किया जाएगा:

1. अपने कैरेक्टर का स्केलेटल मेश ढूंढें

उस स्केलेटल मेश को ढूंढें जिसमें लिप सिंक एनीमेशन के लिए उपयोग किए जाने वाले मॉर्फ टार्गेट्स (ब्लेंड शेप्स) हैं। यह आपके कैरेक्टर के डिज़ाइन के आधार पर एक पूर्ण-शरीर मेश या सिर्फ एक फेस मेश हो सकता है।

2. उपलब्ध मॉर्फ टार्गेट्स सत्यापित करें

सुनिश्चित करें कि आपके स्केलेटल मेश में उपयुक्त मॉर्फ टार्गेट्स हैं जिनका उपयोग लिप सिंक एनीमेशन के लिए विज़ेम के रूप में किया जा सकता है। फेशियल एनीमेशन सपोर्ट वाले अधिकांश कैरेक्टर्स में कुछ फोनेम/विज़ेम मॉर्फ टार्गेट्स होने चाहिए।

3. एक रेफरेंस पोज़ एनीमेशन बनाएं

1. Create Asset -> Create Animation -> Reference Pose पर जाएं
2. एनीमेशन सीक्वेंस के लिए एक वर्णनात्मक नाम दर्ज करें और इसे उचित स्थान पर सेव करें
3. बनाई गई एनीमेशन सीक्वेंस स्वचालित रूप से खुलेगी, जिसमें एक खाली एनीमेशन लूप में चलता दिखाई देगा

4. एडिटिंग को आसान बनाने के लिए एनीमेशन प्लेबैक को रोकने के लिए Pause बटन पर क्लिक करें

4. एनीमेशन सीक्वेंस को एडिट करें

1. Edit in Sequencer -> Edit with FK Control Rig पर क्लिक करें
2. Bake to Control Rig डायलॉग में, बिना किसी सेटिंग को बदले Bake to Control Rig बटन पर क्लिक करें

3. एडिटर Animation Mode में स्विच हो जाएगा जिसमें Sequencer टैब खुला होगा
4. View Range End Time को 0016 पर सेट करें (जो स्वचालित रूप से Working Range End को भी 0016 पर सेट कर देगा)
5. स्लाइडर के दाएं किनारे को सीक्वेंसर विंडो के दाएं छोर तक ड्रैग करें

5. एनीमेशन कर्व्स तैयार करें

1. एनीमेशन सीक्वेंस एसेट पर वापस जाएं और Curves सूची में मॉर्फ टार्गेट्स ढूंढें (अगर वे दिखाई नहीं दे रहे हैं, तो एनीमेशन सीक्वेंस एसेट को बंद करके फिर से खोलें)
2. किसी भी मॉर्फ टार्गेट को हटा दें जो विसेम्स या मुंह की गतिविधियों से संबंधित नहीं हैं जिन्हें आप लिप सिंक के लिए उपयोग करना चाहते हैं

6. अपने विसेम मैपिंग की योजना बनाएं

प्लगइन के आवश्यक सेट से मेल खाने के लिए अपने कैरेक्टर के विसेम की मैपिंग योजना बनाएं। उदाहरण के लिए:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

ध्यान दें कि यह स्वीकार्य है कि आपके चरित्र के विसेम सेट में हर आवश्यक विसेम के लिए सटीक मिलान न होने पर मैपिंग दोहराई जा सकती है।

7. प्रत्येक विसेम को एनिमेट करें

1. प्रत्येक विसेम के लिए, संबंधित मॉर्फ टार्गेट कर्व्स को 0.0 से 1.0 तक एनिमेट करें
2. प्रत्येक विसेम एनीमेशन को अलग-अलग फ्रेम पर शुरू करें
3. प्राकृतिक दिखने वाले विसेम आकार बनाने के लिए आवश्यकतानुसार अतिरिक्त कर्व्स (जॉ/माउथ ओपनिंग, जीभ की स्थिति, आदि) कॉन्फ़िगर करें

8. एक पोज़ एसेट बनाएं

1. Create Asset -> Pose Asset -> Current Animation पर जाएं
2. पोज़ एसेट के लिए एक वर्णनात्मक नाम दर्ज करें और इसे उचित स्थान पर सहेजें
3. बनाया गया पोज़ एसेट स्वचालित रूप से खुलेगा, जिसमें Pose_0, Pose_1 आदि जैसे पोज़ दिखाई देंगे, प्रत्येक एक विसेम से मेल खाता है
4. विसेम वेट का पूर्वावलोकन करें यह सुनिश्चित करने के लिए कि वे अपेक्षा के अनुरूप काम करते हैं

9. पोज़ एसेट को अंतिम रूप दें

1. प्रत्येक पोज़ का नाम बदलें ताकि वह पूर्वापेक्षाएँ अनुभाग के विसेम नामों से मेल खाए
2. किसी भी अप्रयुक्त पोज़ को हटा दें

ऑडियो हैंडलिंग और ब्लेंडिंग सेटअप

एक बार आपका पोज़ एसेट तैयार हो जाने पर, आपको ऑडियो हैंडलिंग और ब्लेंडिंग नोड्स सेटअप करने की आवश्यकता है:

1. अपने कैरेक्टर का एनीमेशन ब्लूप्रिंट ढूंढें या बनाएं
2. स्टैंडर्ड प्लगइन सेटअप गाइड में दस्तावेज किए गए समान चरणों का पालन करते हुए ऑडियो हैंडलिंग और ब्लेंडिंग सेटअप करें
3. Blend Runtime MetaHuman Lip Sync नोड में, डिफ़ॉल्ट MetaHuman पोज़ एसेट के बजाय अपना कस्टम पोज़ एसेट चुनें

बॉडी एनीमेशन के साथ संयोजन

यदि आप अन्य बॉडी एनीमेशन के साथ लिप सिंक करना चाहते हैं:

1. स्टैंडर्ड प्लगइन गाइड में दस्तावेज किए गए समान चरणों का पालन करें
2. MetaHuman बोन नामों का उपयोग करने के बजाय अपने कैरेक्टर की नेक स्केलेटन के लिए सही बोन नाम प्रदान करना सुनिश्चित करें

परिणाम

यहां इस सेटअप का उपयोग करने वाले कस्टम कैरेक्टर्स के उदाहरण दिए गए हैं:

लिप सिंक की गुणवत्ता काफी हद तक विशिष्ट कैरेक्टर और उसके विसेम कितने अच्छे से सेटअप किए गए हैं, पर निर्भर करती है। उपरोक्त उदाहरण विभिन्न प्रकार के कस्टम कैरेक्टर्स के साथ प्लगइन के काम करने को प्रदर्शित करते हैं जिनमें अलग-अलग विसेम सिस्टम हैं।