Progetto dimostrativo
Nella cartella Demo all'interno della directory Content del plugin, troverai asset creati a scopo dimostrativo.
Se non riesci a vedere la directory del plugin, apri il Content Browser, fai clic sul pulsante Settings nell'angolo in alto a destra e abilita Show Engine Content e Show Plugin Content. Il progetto demo dovrebbe trovarsi nella directory Engine → Plugins → Runtime Local LLM Content.
Questi asset sono forniti per dimostrare l'implementazione dell'inferenza LLM sul dispositivo. La demo include:
- Un'interfaccia di chat in cui puoi inviare messaggi e ricevere risposte in streaming token-per-token dal LLM
- Modelli pre-scaricati pronti all'uso
- La possibilità di scaricare modelli aggiuntivi tramite URL durante l'esecuzione
- Un menu delle impostazioni per configurare i parametri di inferenza (temperatura, token massimi, dimensione del contesto, ecc.)
La demo è implementata utilizzando Blueprints e widget UMG per semplicità. Supporta UE 4.27 e versioni successive.
Per testare la demo, apri il livello RLLM_Demo situato nella cartella Demo ed eseguilo nell'editor. Verranno visualizzati i widget di chat LLM sullo schermo, con cui puoi interagire. Puoi anche impacchettare il progetto per il tuo dispositivo di destinazione. Per impostare il livello RLLM_Demo come predefinito nel progetto impacchettato, vai alle impostazioni del progetto e imposta RLLM_Demo come Game Default Map.