Projet de démonstration

Dans le dossier Demo du répertoire Content du plugin, vous trouverez des assets créés à des fins de démonstration.

Si vous ne voyez pas le répertoire du plugin, ouvrez le Content Browser, cliquez sur le bouton Settings dans le coin supérieur droit, et activez Show Engine Content et Show Plugin Content. Le projet de démonstration devrait se trouver dans le répertoire Engine → Plugins → Runtime Local LLM Content.

Ces assets sont fournis pour démontrer l'implémentation de l'inférence LLM sur l'appareil. La démo comprend :

• Une interface de chat où vous pouvez envoyer des messages et recevoir des réponses en streaming token par token du LLM
• Des modèles pré-téléchargés prêts à l'emploi
• La possibilité de télécharger des modèles supplémentaires via URL au moment de l'exécution
• Un menu de paramètres pour configurer les paramètres d'inférence (température, max tokens, taille du contexte, etc.)

La démo est implémentée en utilisant des Blueprints et des widgets UMG pour plus de simplicité. Elle prend en charge UE 4.27 et les versions ultérieures.

Pour tester la démo, ouvrez le niveau RLLM_Demo situé dans le dossier Demo et lancez-le dans l'éditeur. Cela affichera les widgets de chat LLM sur votre écran, avec lesquels vous pourrez interagir. Vous pouvez également empaqueter le projet pour votre appareil cible. Pour définir le niveau RLLM_Demo comme niveau par défaut dans votre projet empaqueté, allez dans les paramètres du projet et définissez RLLM_Demo comme Game Default Map.