Runtime Local LLM
Runtime Local LLM प्लगइन के लिए दस्तावेज़।
- Fab पर प्राप्त करें
- उत्पाद वेबसाइट
- डेमो डाउनलोड करें (विंडोज)
- वीडियो ट्यूटोरियल
- प्लगइन समर्थन और कस्टम विकास: [email protected] (टीमों और संगठनों के लिए अनुकूलित समाधान)
अवलोकन
बड़े भाषा मॉडलों को पूरी तरह से डिवाइस पर चलाएं Unreal Engine में llama.cpp का उपयोग करके। GGUF मॉडलों के साथ ऑफ़लाइन अनुमान, टोकन स्ट्रीमिंग, और पूर्ण Blueprint और C++ API समर्थन Windows, Mac, Linux, Android, iOS, और Meta Quest पर।
एडिटर में मॉडल का प्रबंधन
अनरियल इंजन संपादक में सीधे Runtime Local LLM प्लगइन सेटिंग पैनल का उपयोग करके LLM मॉडल ब्राउज़ करें, डाउनलोड करें, आयात करें, हटाएँ, और परीक्षण करें.
प्लगइन का उपयोग कैसे करें
Runtime Local LLM प्लगइन के लिए पूर्ण रनटाइम API संदर्भ, जिसमें LLM इंस्टेंस निर्माण, मॉडल लोडिंग, संदेश भेजना, डाउनलोड करना, स्टेट मैनेजमेंट, मॉडल लाइब्रेरी फ़ंक्शंस और यूटिलिटीज़ शामिल हैं।
उदाहरण
Runtime Local LLM प्लगइन के लिए उपयोग के लिए तैयार Blueprint और C++ उदाहरण, जिनमें सरल चैट, डाउनलोड-और-चैट, मॉडल पूर्व-डाउनलोडिंग और एनपीसी संवाद प्रणालियाँ शामिल हैं।
अनुमान पैरामीटर
LLM अनुमान मापदंडों के लिए विस्तृत संदर्भ, जिसमें temperature, top-p, top-k, repeat penalty, GPU layer offloading, context size, seed, और thread count शामिल हैं, साथ ही mobile, VR, और desktop के लिए प्लेटफ़ॉर्म-विशिष्ट अनुशंसाएँ।
समस्या निवारण
Runtime Speech Recognizer प्लगइन के साथ सामान्य समस्याओं का निवारण
डेमो प्रोजेक्ट
एक उपयोग के लिए तैयार डेमो प्रोजेक्ट Runtime Local LLM plugin के लिए जिसमें स्ट्रीमिंग प्रतिक्रियाओं के साथ एक चैट इंटरफ़ेस, URL के माध्यम से मॉडल डाउनलोडिंग, और कॉन्फ़िगरेबल अनुमान पैरामीटर शामिल हैं।