Runtime Local LLM
Documentation pour le plugin Runtime Local LLM.
- Obtenez-le sur Fab
- Site web du produit
- Télécharger la démo (Windows)
- Tutoriel vidéo
- Support du plugin & développement sur mesure : [email protected] (solutions adaptées aux équipes et organisations)
Aperçu
Exécutez de grands modèles de langage entièrement sur l'appareil dans Unreal Engine en utilisant llama.cpp. Inférence hors ligne avec des modèles GGUF, streaming de tokens et prise en charge complète de l'API Blueprint et C++ sur Windows, Mac, Linux, Android, iOS et Meta Quest.
managing-models-in-the-editor
Parcourez, téléchargez, importez, supprimez et testez des modèles LLM directement dans l'éditeur Unreal Engine à l'aide du panneau des paramètres du plugin Runtime Local LLM.
Comment utiliser le plugin
Référence complète de l'API d'exécution du plugin Runtime Local LLM couvrant la création d'instances LLM, le chargement de modèles, l'envoi de messages, le téléchargement, la gestion d'état, les fonctions de bibliothèque de modèles et les utilitaires.
Exemples
Exemples Blueprint et C++ prêts à l'emploi pour le plugin Runtime Local LLM, comprenant le chat simple, le téléchargement et chat, le pré-téléchargement de modèle et les systèmes de dialogue pour PNJ.
Paramètres d'inférence
Référence détaillée pour tous les paramètres d'inférence LLM incluant la température, top-p, top-k, la pénalité de répétition, le délestage des couches GPU, la taille du contexte, la graine et le nombre de threads, avec des recommandations spécifiques à la plateforme pour mobile, VR et ordinateur de bureau.
Dépannage
Dépannage des problèmes courants avec le plugin Runtime Speech Recognizer.
Projet de démonstration
Un projet de démonstration prêt à l’emploi pour le plugin Runtime Local LLM, avec une interface de chat avec réponses en streaming, téléchargement de modèles par URL et paramètres d’inférence configurables.