Runtime Local LLM
Documentation for the Runtime Local LLM plugin.
- احصل عليه من Fab
- موقع المنتج
- تنزيل النسخة التجريبية (Windows)
- فيديو تعليمي
- دعم الإضافة والتطوير المخصص: [email protected] (حلول مخصصة للفرق والمؤسسات)
نظرة عامة
تشغيل نماذج اللغة الكبيرة بالكامل على الجهاز في Unreal Engine باستخدام llama.cpp. استدلال دون اتصال مع نماذج GGUF، تدفق الرموز، ودعم كامل لـ Blueprint و C++ API عبر Windows و Mac و Linux و Android و iOS و Meta Quest.
إدارة النماذج في المحرر
تصفح، نزّل، استورد، احذف، واختبر نماذج LLM مباشرة في محرر Unreal Engine باستخدام لوحة إعدادات اضافة Runtime Local LLM.
كيفية استخدام الإضافة
مرجع واجهة برمجة التطبيقات الكاملة لوقت التشغيل لإضافة Runtime Local LLM يغطي إنشاء مثيل LLM، تحميل النموذج، إرسال الرسائل، التنزيل، إدارة الحالة، وظائف مكتبة النموذج، والأدوات المساعدة.
أمثلة
أمثلة جاهزة للاستخدام بـ Blueprint و C++ لإضافة Runtime Local LLM بما في ذلك الدردشة البسيطة، التحميل والدردشة، التنزيل المسبق للنموذج، وأنظمة حوار NPC.
معاملات الاستدلال
مرجع مفصل لجميع معاملات استنتاج نماذج اللغة الكبيرة بما في ذلك درجة الحرارة، top-p، top-k، عقوبة التكرار، إلغاء تحميل طبقات GPU، حجم السياق، البذرة، وعدد الخيوط، مع توصيات خاصة بكل منصة للأجهزة المحمولة والواقع الافتراضي وسطح المكتب.
استكشاف الأخطاء وإصلاحها
استكشاف المشكلات الشائعة وإصلاحها مع إضافة Runtime Speech Recognizer.
مشروع تجريبي
مشروع تجريبي جاهز للاستخدام لإضافة Runtime Local LLM يتميز بواجهة محادثة مع استجابات بالبث، وتنزيل النموذج عبر رابط، ومعاملات استدلال قابلة للتكوين.