डेमो प्रोजेक्ट्स

Runtime MetaHuman Lip Sync के साथ जल्दी शुरुआत करने में आपकी मदद करने के लिए, दो उपयोग के लिए तैयार डेमो प्रोजेक्ट उपलब्ध हैं। दोनों Unreal Engine 5.6 के साथ बनाए गए हैं (और UE 5.7+ पर समर्थित हैं), Blueprint-आधारित हैं, और Windows, Mac, Linux, iOS, Android, और Android-आधारित प्लेटफ़ॉर्मों (जैसे Meta Quest) पर क्रॉस-प्लेटफ़ॉर्म चलते हैं।

उपलब्ध डेमो प्रोजेक्ट्स

AI Conversational NPC

एक संपूर्ण AI NPC वार्तालाप वर्कफ़्लो जिसमें स्पीच रिकॉग्निशन, एक AI चैटबॉट (LLM), टेक्स्ट-टू-स्पीच, और रीयल-टाइम लिप सिंक के साथ ऑडियो प्लेबैक का संयोजन है - सभी एक ही प्रोजेक्ट में एक साथ चल रहे हैं।

पाइपलाइन अवलोकन

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

शानदार वीडियो

डाउनलोड

• पैकेज्ड डेमो डाउनलोड करें (Windows)
• सोर्स फ़ाइलें डाउनलोड करें (UE 5.6+)

आवश्यक और वैकल्पिक प्लगइन्स

यह डेमो प्रोजेक्ट मॉड्यूलर है - आपको केवल उन प्रदाताओं के लिए प्लगइन्स की आवश्यकता है जिनका आप उपयोग करना चाहते हैं।

प्लगइन	उद्देश्य	आवश्यक?
Runtime MetaHuman Lip Sync	लिप सिंक एनीमेशन	✅ हमेशा
Runtime Audio Importer	ऑडियो कैप्चर और प्रोसेसिंग	✅ हमेशा
Runtime Speech Recognizer	ऑफ़लाइन वाक् पहचान (whisper.cpp)	✅ हमेशा
Runtime AI Chatbot Integrator	बाहरी एलएलएम (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama) और/या बाहरी टीटीएस (OpenAI, ElevenLabs)	🔶 वैकल्पिक*
Runtime Local LLM	llama.cpp (Llama, Mistral, Gemma, आदि, GGUF मॉडल) के माध्यम से स्थानीय एलएलएम अनुमान	🔶 वैकल्पिक*
Runtime Text To Speech	Piper और Kokoro के ज़रिए स्थानीय टीटीएस	🔶 वैकल्पिक*

* आपको कम से कम एक एलएलएम प्रदाता और कम से कम एक टीटीएस प्रदाता की आवश्यकता है। आप उन्हें स्वतंत्र रूप से मिला सकते हैं (जैसे, स्थानीय एलएलएम + ElevenLabs टीटीएस, या OpenAI एलएलएम + स्थानीय टीटीएस)।

मॉड्यूलर आर्किटेक्चर

यह डेमो प्रोजेक्ट पूरी तरह मॉड्यूलर है। Content फ़ोल्डर में आपको एक Modules फ़ोल्डर मिलेगा जिसमें तीन सबफ़ोल्डर हैं:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

यदि आपने एक (या अधिक) वैकल्पिक प्लगइन्स प्राप्त नहीं किए हैं, तो संबंधित फ़ोल्डर(s) को बस हटा दें। डेमो प्रोजेक्ट की आधार संपत्तियाँ (गेम इंस्टेंस, विजेट्स, आदि) इन मॉड्यूलों का सीधे संदर्भ नहीं लेतीं, इसलिए इन्हें हटाने से संपत्ति संदर्भ त्रुटियाँ नहीं होंगी। कॉन्फ़िगरेशन UI स्वचालित रूप से उस प्रदाता को छिपा देगा जिसका फ़ोल्डर मौजूद नहीं है।

note

यह मॉड्यूलरिटी केवल LLM और TTS प्रदाताओं पर लागू होती है। वाक् पहचान (Runtime Speech Recognizer) और Lip Sync (Runtime MetaHuman Lip Sync) आधार डेमो प्रोजेक्ट का हिस्सा हैं और हमेशा आवश्यक हैं।

warning

पहली बार लॉन्च करने पर, Unreal पूछ सकता है कि किसी गुम वैकल्पिक प्लगइन को अक्षम करना है या नहीं - हाँ पर क्लिक करें। सुनिश्चित करें कि आपने संबंधित Content/Modules/ फ़ोल्डर भी हटा दिया है (ऊपर देखें)।

डेमो प्रोजेक्ट लेआउट

UI प्रदर्शन उद्देश्यों के लिए है

नीचे दिखाया गया उपयोगकर्ता इंटरफ़ेस पूरी तरह से UMG (Unreal Motion Graphics) के साथ बनाया गया है और इसका उद्देश्य केवल पाइपलाइन का प्रदर्शन करना है - वाक् पहचान → LLM → TTS → lip sync। आप अपने गेम के विज़ुअल डिज़ाइन, नियंत्रण योजना, या प्लेटफ़ॉर्म (VR/AR, मोबाइल, कंसोल, आदि) से मेल खाने के लिए इसे पुन: स्टाइल या बदलने के लिए स्वतंत्र हैं। यदि आपके उपयोग के मामले में कुछ विजेट्स की आवश्यकता नहीं है, तो आप उन्हें छिपा भी सकते हैं (जैसे उनकी दृश्यता Collapsed या Hidden पर सेट करें)।

क्षेत्र	वहाँ क्या है
केंद्र	MetaHuman पात्र।
बाईं ओर	चार कॉन्फ़िगरेशन बटन (वाक् पहचान, AI चैटबॉट, टेक्स्ट टू स्पीच, एनिमेशन), नीचे विस्तार से वर्णित।
केंद्र निचला	एक स्टार्ट रिकॉर्डिंग बटन। इसे क्लिक करके आवाज़ वार्तालाप शुरू करें: आपका माइक्रोफ़ोन कैप्चर किया जाता है, ट्रांसक्राइब किया जाता है, LLM को भेजा जाता है, प्रतिक्रिया TTS के माध्यम से संश्लेषित होती है, और lip sync के साथ पूरी तरह से हैंड्स-फ्री चलाई जाती है।
दायाँ केंद्र	एक वार्तालाप इतिहास विजेट जो आप और AI के बीच पूरे आदान-प्रदान (उपयोगकर्ता और सहायक दोनों संदेश) दिखाता है। इसमें एक पाठ इनपुट फ़ील्ड भी शामिल है, ताकि आप वाक् पहचान का उपयोग किए बिना सीधे संदेश टाइप कर सकें, जो परीक्षण, सुगमता, या जब माइक्रोफ़ोन उपलब्ध न हो, के लिए उपयोगी है।

tip

आप एक ही सत्र में दोनों इनपुट मोड को स्वतंत्र रूप से मिला सकते हैं - कुछ संदेश बोलें, कुछ टाइप करें।

कॉन्फ़िगरेशन बटन

बाईं ओर के चार कॉन्फ़िगरेशन बटन पाइपलाइन के प्रत्येक भाग के लिए समर्पित पैनल खोलते हैं:

1. वाक् पहचान कॉन्फ़िगर करें

उपयोगकर्ता की आवाज़ को कैसे कैप्चर और ट्रांसक्राइब किया जाए, कॉन्फ़िगर करें:

• भाषा चुनें
• वाक् पहचान पैरामीटर समायोजित करें (Whisper मॉडल सेटिंग्स)
• AEC (एकॉस्टिक इको कैंसलेशन) कॉन्फ़िगर करें
• VAD (वॉयस एक्टिविटी डिटेक्शन) कॉन्फ़िगर करें

2. AI चैटबॉट कॉन्फ़िगर करें

अपना LLM प्रदाता चुनें और इसे कॉन्फ़िगर करें:

• प्रदाता चुनें (Runtime AI Chatbot Integrator या Runtime Local LLM)
• बाहरी प्रदाताओं के लिए: ऑथ टोकन, मॉडल का नाम, आदि।
• स्थानीय LLM के लिए: एक GGUF मॉडल चुनें, संदर्भ आकार, और अन्य अनुमान पैरामीटर सेट करें। आप रनटाइम पर सीधे डेमो से अपना खुद का GGUF मॉडल डाउनलोड भी कर सकते हैं (जैसे URL द्वारा), और प्रोजेक्ट को दोबारा बनाए बिना तुरंत इसका उपयोग कर सकते हैं।

tip

प्रदाता कॉम्बोबॉक्स केवल उन्हीं प्रदाताओं को दिखाता है जिनका प्लगइन मॉड्यूल फ़ोल्डर Content/Modules/ में मौजूद है।

3. टेक्स्ट टू स्पीच कॉन्फ़िगर करें

अपना TTS प्रदाता चुनें और आवाज़ें/मॉडल कॉन्फ़िगर करें:

• प्रदाता चुनें (ओपनएआई/ElevenLabs के लिए Runtime AI Chatbot Integrator, या स्थानीय Piper/Kokoro के लिए Runtime Text To Speech)
• आवाज़/मॉडल चुनें
• प्रदाता-विशिष्ट पैरामीटर समायोजित करें

4. एनिमेशन कॉन्फ़िगर करें

अपने AI NPC के दृश्य को नियंत्रित करें:

• 3 पूर्व-डाउनलोड किए गए MetaHuman पात्रों (Aera, Ada, Orlando) में से चुनें
• lip sync मॉडल चुनें (Standard या Realistic)
• lip sync मॉडल प्रकार चुनें - Highly Optimized, Semi-Optimized, या Original (देखें मॉडल प्रकार)
• प्रसंस्करण खंड आकार समायोजित करें - यह नियंत्रित करता है कि lip sync अनुमान कितनी बार चले (देखें प्रसंस्करण खंड आकार)
• बातचीत के दौरान MetaHuman पर चलाने के लिए एक निष्क्रिय एनिमेशन चुनें

संपादक में डेमो को पूर्व-कॉन्फ़िगर करना

स्रोत संस्करण के साथ काम करते समय, आप सीधे संपादक में डिफ़ॉल्ट मान भर सकते हैं ताकि हर बार मानों को दोबारा दर्ज न करना पड़े:

क्या	कहाँ
सामान्य सेटिंग्स (lip sync मॉडल, निष्क्रिय एनिमेशन, पात्र वर्ग, वाक् पहचान, आदि)	Content/LipSyncSTSGameInstance
बाहरी LLM / बाहरी TTS सेटिंग्स (Runtime AI Chatbot Integrator)	Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
स्थानीय LLM सेटिंग्स (Runtime Local LLM)	Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
स्थानीय TTS सेटिंग्स (Runtime Text To Speech)	Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

क्रॉस-प्लेटफ़ॉर्म नोट्स

डेमो द्वारा उपयोग किए जाने वाले सभी प्लगइन Windows, Mac, Linux, iOS, Android, और Android-आधारित प्लेटफ़ॉर्म (Meta Quest सहित) का समर्थन करते हैं, इसलिए डेमो प्रोजेक्ट इन सभी पर भी काम करता है।

कमज़ोर उपकरणों (मोबाइल, स्टैंडअलोन VR) के लिए, आप यह कर सकते हैं:

• Standard lip sync मॉडल का उपयोग करें Realistic के बजाय - देखें मॉडल तुलना
• Highly Optimized मॉडल प्रकार पर स्विच करें
• CPU लोड कम करने के लिए प्रसंस्करण खंड आकार बढ़ाएँ
• छोटे LLM / TTS मॉडल चुनें

Android, iOS, Mac, और Linux पर अतिरिक्त सेटअप चरणों के लिए प्लेटफ़ॉर्म-विशिष्ट कॉन्फ़िगरेशन देखें।

अपना खुद का MetaHuman लाना

डेमो प्रोजेक्ट तीन नमूना MetaHuman पात्रों (Aera, Ada, Orlando) के साथ आता है, लेकिन आप अपना खुद का MetaHuman आयात कर सकते हैं और इसे डेमो में उपयोग कर सकते हैं।

📺 वीडियो ट्यूटोरियल: डेमो प्रोजेक्ट में एक कस्टम MetaHuman पात्र जोड़ना

note

Runtime MetaHuman Lip Sync प्लगइन स्वयं MetaHumans से परे कई अन्य पात्र प्रणालियों का समर्थन करता है (ARKit-आधारित पात्र, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, आदि - कस्टम पात्र सेटअप गाइड देखें)।

Basic Lip Sync Demo

एक सरल डेमो प्रोजेक्ट जो पूरी तरह से lip sync सुविधा पर ही केंद्रित है, बिना पूर्ण AI वार्तालाप कार्यप्रवाह के। उपयुक्त है यदि आप केवल विभिन्न ऑडियो स्रोतों के साथ lip sync को कार्रवाई में देखना चाहते हैं।

विशेष वीडियो

डाउनलोड

• पैकेज्ड डेमो डाउनलोड करें (Windows)
• स्रोत फ़ाइलें डाउनलोड करें (UE 5.6+)

इसमें क्या शामिल है

यह डेमो बुनियादी lip sync कार्यप्रवाहों को प्रदर्शित करता है:

• माइक्रोफ़ोन इनपुट - लाइव ऑडियो से रीयल-टाइम lip sync
• ऑडियो फ़ाइल प्लेबैक - आयातित ऑडियो फ़ाइलों से lip sync
• टेक्स्ट-टू-स्पीच - संश्लेषित भाषण द्वारा संचालित lip sync

आवश्यक और वैकल्पिक प्लगइन्स

प्लगइन	उद्देश्य	आवश्यक?
Runtime MetaHuman Lip Sync	Lip sync एनीमेशन	✅ आवश्यक
Runtime Audio Importer	ऑडियो आयात और कैप्चर	✅ आवश्यक
Runtime Text To Speech	TTS डेमो दृश्य के लिए स्थानीय TTS	🔶 वैकल्पिक
Runtime AI Chatbot Integrator	बाहरी TTS प्रदाता (OpenAI, ElevenLabs)	🔶 वैकल्पिक

Standard Lip Sync Model के लिए नोट्स

यदि आप किसी भी डेमो प्रोजेक्ट में Standard Model (Realistic के बजाय) का उपयोग करने की योजना बना रहे हैं, तो आपको Standard Lip Sync Extension प्लगइन स्थापित करने की आवश्यकता होगी। स्थापना निर्देशों के लिए Standard Model Extension देखें।

मदद चाहिए?

यदि डेमो प्रोजेक्ट सेट अप करने या चलाने में कोई समस्या आती है, तो बेझिझक संपर्क करें:

Join our Discord

online · support

कस्टम विकास अनुरोधों के लिए (जैसे कि डेमो को अपने स्वयं के तर्क से विस्तारित करना, इसे किसी विशिष्ट प्लेटफ़ॉर्म या कैरेक्टर पाइपलाइन के लिए अनुकूलित करना), संपर्क करें [email protected].