एडिटर में मॉडल का प्रबंधन

यह प्लगइन अनरियल इंजन एडिटर में एक सेटिंग्स पैनल प्रदान करता है जहाँ आप LLM मॉडल ब्राउज़, डाउनलोड, आयात, हटा और परीक्षण कर सकते हैं।

प्लगइन सेटिंग्स तक पहुँचना

1. संपादित करें → परियोजना सेटिंग्स खोलें
2. प्लगइन्स → रनटाइम लोकल LLM पर नेविगेट करें

सेटिंग्स पैनल में दो मुख्य अनुभाग हैं:

• डाउनलोड किए गए मॉडल: डिस्क पर मौजूद और उपयोग के लिए तैयार मॉडल
• उपलब्ध मॉडल: बिल्ट-इन कैटलॉग से पूर्वनिर्धारित मॉडल जिन्हें आप डाउनलोड कर सकते हैं

मॉडल डाउनलोड करना

1. उपलब्ध मॉडल अनुभाग में, अपना इच्छित मॉडल परिवार और वैरिएंट ढूंढें
2. वैरिएंट के आगे डाउनलोड बटन पर क्लिक करें
3. एक प्रगति पट्टी डाउनलोड स्थिति दिखाती है
4. एक बार पूरा होने पर, मॉडल डाउनलोड किए गए मॉडल अनुभाग में चला जाता है

आप एक साथ कई मॉडल डाउनलोड कर सकते हैं। किसी प्रगतिशील डाउनलोड को रद्द करने के लिए, उसके आगे रद्द करें बटन पर क्लिक करें।

किसी भी डाउनलोड किए गए मॉडल को हटाने के लिए, उस मॉडल के आगे हटाएं बटन पर क्लिक करें।

सभी डाउनलोड किए गए मॉडल आपके प्रोजेक्ट के साथ पैकेज किए जाएंगे, इसलिए प्रोजेक्ट का आकार कम करने के लिए, अब आपको जिन मॉडलों की ज़रूरत नहीं है उन्हें हटा दें।

एक मॉडल चुनना

मोबाइल/VR प्लेटफ़ॉर्म के लिए, Q4_K_M क्वांटाइज़ेशन पर एक छोटे मॉडल (1B–3B पैरामीटर) से शुरू करें। डेस्कटॉप के लिए, Q4_K_M या Q5_K_M पर 7B मॉडल गुणवत्ता और प्रदर्शन का अच्छा संतुलन प्रदान करते हैं।

कस्टम मॉडल आयात करना

आप अपने स्थानीय फ़ाइल सिस्टम या URL से कोई भी GGUF फ़ाइल आयात कर सकते हैं:

1. सेटिंग्स पैनल के शीर्ष पर कस्टम मॉडल आयात करें बटन पर क्लिक करें
2. दिखाई देने वाले संवाद में, एक मोड चुनें:
   • स्थानीय फ़ाइल आयात करें: डिस्क पर एक .gguf फ़ाइल ब्राउज़ करें
   • URL से डाउनलोड करें: एक .gguf फ़ाइल का सीधा URL दर्ज करें
3. मॉडल का नाम और वैकल्पिक विवरण / पैरामीटर संख्या भरें
4. आयात करने या डाउनलोड शुरू करने के लिए पुष्टि करें बटन पर क्लिक करें

जब आप कोई स्थानीय फ़ाइल आयात करते हैं, तो प्लगइन इसे Content/RuntimeLocalLLM/Models डायरेक्टरी में कॉपी कर लेता है और एक मेटाडेटा साइडकार फ़ाइल बनाता है। URL से आयात करने पर, प्लगइन फ़ाइल को सीधे उसी डायरेक्टरी में डाउनलोड कर लेता है।

कस्टम मॉडलों के साथ वैसा ही व्यवहार किया जाता है जैसा डाउनलोड किए गए मॉडलों के साथ होता है और वे आपके प्रोजेक्ट के साथ पैकेज हो जाएँगे।

संपादक में मॉडलों का परीक्षण

यह प्लगइन आपके गेम को चलाए बिना त्वरित अनुमान परीक्षण के लिए एक परीक्षण विंडो प्रदान करता है:

1. सेटिंग्स पैनल के शीर्ष पर Test LLM बटन पर क्लिक करें
2. परीक्षण विंडो में, डिस्क पर मौजूद मॉडलों की ड्रॉपडाउन सूची से एक मॉडल चुनें
3. अनुमान पैरामीटर कॉन्फ़िगर करें (तापमान, अधिकतम टोकन, सिस्टम प्रॉम्प्ट, आदि)
4. प्रॉम्प्ट दर्ज करें और Send पर क्लिक करें
5. वास्तविक समय में प्रतिक्रिया स्ट्रीम देखें
6. जनरेशन रद्द करने के लिए Stop पर क्लिक करें, या बातचीत रीसेट करने के लिए Clear पर क्लिक करें

यह सुनिश्चित करने के लिए उपयोगी है कि कोई मॉडल आपके गेम लॉजिक में एकीकृत करने से पहले सही ढंग से काम करता है।

पैकेजिंग सेटिंग्स

जब आप कोई मॉडल डाउनलोड या आयात करते हैं, तो प्लगइन स्वचालित रूप से आपके प्रोजेक्ट की पैकेजिंग कॉन्फ़िगरेशन को अपडेट कर देता है, जिसमें RuntimeLocalLLM/Models डायरेक्टरी को Additional Non-Asset Directories To Copy (DirectoriesToAlwaysStageAsNonUFS) में शामिल किया जाता है। इससे यह सुनिश्चित होता है कि सभी मॉडल फ़ाइलें आपके पैकेज्ड बिल्ड के साथ शिप हो जाती हैं। आपको इसे मैन्युअली कॉन्फ़िगर करने की आवश्यकता नहीं है।