Runtime Local LLM
Documentation pour le plugin Runtime Local LLM.
- Get it on Fab
- Site web du produit
- Télécharger la démo (Windows)
- Tutoriel vidéo
- Support du plugin et développement personnalisé : [email protected] (solutions sur mesure pour les équipes et les organisations)
Aperçu
Exécutez des grands modèles de langage entièrement sur l'appareil dans Unreal Engine à l'aide de llama.cpp. Inférence hors ligne avec modèles GGUF, streaming de jetons, et prise en charge complète des API Blueprint et C++ sur Windows, Mac, Linux, Android, iOS et Meta Quest.
Gestion des modèles dans l'éditeur
Parcourez, téléchargez, importez, supprimez et testez des modèles LLM directement dans l'éditeur Unreal Engine à l'aide du panneau de paramètres du plugin Runtime Local LLM.
Comment utiliser le plugin
Référence complète de l'API runtime pour le plugin Runtime Local LLM couvrant la création d'instances LLM, le chargement de modèles, l'envoi de messages, le téléchargement, la gestion d'état, les fonctions de bibliothèque de modèles et les utilitaires.
Exemples
Exemples prêts à l'emploi en Blueprint et C++ pour le plugin Runtime Local LLM, incluant un chat simple, le téléchargement et chat, le pré-téléchargement de modèles, et les systèmes de dialogue pour PNJ.
Paramètres d'inférence
Référence détaillée pour tous les paramètres d'inférence LLM, y compris la température, top-p, top-k, pénalité de répétition, déchargement des couches GPU, taille du contexte, seed et nombre de threads, avec des recommandations spécifiques à la plateforme pour mobile, VR et bureau.
Dépannage
Dépannage des problèmes courants avec le plugin Runtime Local LLM.
Projet de démonstration
Un projet de démonstration prêt à l'emploi pour le plugin Runtime Local LLM, doté d'une interface de chat avec réponses en streaming, de téléchargement de modèle via URL et de paramètres d'inférence configurables.