Projet de démonstration

Dans le dossier Demo situé dans le répertoire Content du plugin, vous trouverez des ressources créées à des fins de démonstration.

Si vous ne voyez pas le répertoire des plugins, ouvrez le Navigateur de contenu, cliquez sur le bouton Paramètres dans le coin supérieur droit, puis activez Afficher le contenu du moteur et Afficher le contenu des plugins. Le projet de démonstration devrait se trouver dans le répertoire Moteur → Plugins → Runtime Local LLM Content.

Ces ressources sont fournies pour démontrer la mise en œuvre de l'inférence LLM sur l'appareil. La démo inclut :

• Une interface de chat où vous pouvez envoyer des messages et recevoir des réponses en streaming token par token du LLM
• Des modèles pré-téléchargés prêts à l'emploi
• La possibilité de télécharger des modèles supplémentaires via une URL à l'exécution
• Un menu de paramètres pour configurer les paramètres d'inférence (température, nombre maximal de tokens, taille du contexte, etc.)

La démo est implémentée à l'aide de Blueprints et de widgets UMG pour plus de simplicité. Elle prend en charge UE 4.27 et les versions ultérieures.

Pour tester la démo, ouvrez le niveau RLLM_Demo situé dans le dossier Demo et exécutez-le dans l'éditeur. Cela affichera les widgets de chat LLM sur votre écran, avec lesquels vous pourrez interagir. Vous pouvez également empaqueter le projet pour votre appareil cible. Pour définir le niveau RLLM_Demo comme niveau par défaut dans votre projet empaqueté, accédez aux paramètres du projet et définissez RLLM_Demo comme Carte par défaut du jeu.