Projeto de demonstração
Na pasta Demo dentro do diretório Content do plugin, você encontrará ativos criados para fins de demonstração.
Se você não conseguir ver o diretório do plugin, abra o Content Browser, clique no botão Settings no canto superior direito e ative Show Engine Content e Show Plugin Content. O projeto de demonstração deve estar localizado no diretório Engine → Plugins → Runtime Local LLM Content.
Esses ativos são fornecidos para demonstrar a implementação da inferência de LLM no dispositivo. A demonstração inclui:
- Uma interface de chat onde você pode enviar mensagens e receber respostas em streaming token por token do LLM
- Modelos pré-baixados prontos para usar imediatamente
- A capacidade de baixar modelos adicionais via URL durante a execução
- Um menu de configurações para ajustar os parâmetros de inferência (temperatura, máximo de tokens, tamanho de contexto, etc.)
A demonstração é implementada usando Blueprints e widgets UMG para simplificar. Ela suporta UE 4.27 e versões posteriores.
Para testar a demonstração, abra o nível RLLM_Demo localizado na pasta Demo e execute-o no editor. Isso exibirá os widgets de chat do LLM na sua tela, com os quais você pode interagir. Você também pode empacotar o projeto para o seu dispositivo de destino. Para definir o nível RLLM_Demo como padrão em seu projeto empacotado, vá para as configurações do projeto e defina RLLM_Demo como Game Default Map.