Proyecto de demostración
En la carpeta Demo dentro del directorio Content del plugin, encontrará activos creados con fines de demostración.
Si no puede ver el directorio del plugin, abra el Content Browser, haga clic en el botón Settings en la esquina superior derecha y active Show Engine Content y Show Plugin Content. El proyecto de demostración debería encontrarse en el directorio Engine → Plugins → Runtime Local LLM Content.
Estos activos se proporcionan para demostrar la implementación de la inferencia de LLM en dispositivo. La demostración incluye:
- Una interfaz de chat donde puede enviar mensajes y recibir respuestas en streaming token por token desde el LLM
- Modelos pre-descargados listos para usar de inmediato
- La capacidad de descargar modelos adicionales mediante URL en tiempo de ejecución
- Un menú de configuración para ajustar los parámetros de inferencia (temperatura, tokens máximos, tamaño de contexto, etc.)
La demostración está implementada utilizando Blueprints y widgets UMG para mayor simplicidad. Es compatible con UE 4.27 y versiones posteriores.
Para probar la demostración, abra el nivel RLLM_Demo ubicado en la carpeta Demo y ejecútelo en el editor. Esto mostrará los widgets de chat del LLM en su pantalla, con los que podrá interactuar. También puede empaquetar el proyecto para su dispositivo de destino. Para establecer el nivel RLLM_Demo como predeterminado en su proyecto empaquetado, vaya a la configuración del proyecto y defina RLLM_Demo como el Game Default Map.