Passa al contenuto principale

managing-models-in-the-editor

Gestione dei modelli nell'editor

Il plugin fornisce un pannello delle impostazioni all'interno dell'editor di Unreal Engine dove puoi sfogliare, scaricare, importare, eliminare e testare i modelli LLM.

Accedere alle impostazioni del plugin​

  1. Apri Edit → Project Settings
  2. Vai a Plugins → Runtime Local LLM

Il pannello delle impostazioni ha due sezioni principali:

  • Modelli scaricati: Modelli attualmente su disco e pronti all'uso
  • Modelli disponibili: Modelli predefiniti dal catalogo integrato che puoi scaricare

Scaricare i modelli​

  1. Nella sezione Modelli disponibili, trova la famiglia di modelli e la variante desiderata
  2. Clicca sul pulsante Download accanto alla variante
  3. Una barra di avanzamento mostra lo stato del download
  4. Al termine, il modello passa alla sezione Modelli scaricati

Puoi scaricare più modelli contemporaneamente. Per annullare un download in corso, clicca sul pulsante Cancel accanto ad esso.

Per eliminare qualsiasi modello scaricato, clicca sul pulsante Delete accanto al modello che vuoi rimuovere.

Tutti i modelli scaricati verranno inclusi nel pacchetto del progetto, quindi per ridurre le dimensioni del progetto, elimina i modelli che non ti servono più.

Scegliere un Modello

Per piattaforme mobile/VR, inizia con un modello piccolo (parametri 1B–3B) con quantizzazione Q4_K_M. Per desktop, i modelli 7B a Q4_K_M o Q5_K_M offrono un buon equilibrio tra qualità e prestazioni.

Importazione di modelli personalizzati​

Puoi importare qualsiasi file GGUF dal tuo file system locale o da un URL:

  1. Fai clic sul pulsante Import Custom Model nella parte superiore del pannello delle impostazioni
  2. Nella finestra di dialogo che appare, scegli una modalità:
    • Import Local File: Sfoglia per un file .gguf sul disco
    • Download from URL: Inserisci un URL diretto a un file .gguf
  3. Compila il nome del modello e, facoltativamente, la descrizione / il conteggio dei parametri.
  4. Fai clic su Confirm per importare o avviare il download

Quando si importa un file locale, il plugin lo copia nella directory Content/RuntimeLocalLLM/Models e crea un file di metadati sidecar. Quando si importa da URL, il plugin scarica il file direttamente in quella directory.

I modelli personalizzati sono trattati come i modelli scaricati e verranno inclusi nel pacchetto del progetto.

Test dei modelli nell'Editor​

Il plugin include una finestra di test per eseguire rapidamente test di inferenza senza avviare il gioco:

  1. Clicca sul pulsante Test LLM nella parte superiore del pannello delle impostazioni
  2. Nella finestra di test, seleziona un modello dal menu a discesa dei modelli su disco
  3. Configura i parametri di inferenza (temperatura, numero massimo di token, prompt di sistema, ecc.)
  4. Inserisci un prompt e clicca Invia
  5. Guarda lo streaming della risposta in tempo reale
  6. Clicca Ferma per annullare la generazione, oppure Cancella per reimpostare la conversazione

Questo è utile per verificare che un modello funzioni correttamente prima di integrarlo nella logica del tuo gioco.

Impostazioni di packaging​

Quando scarichi o importi un modello, il plugin aggiorna automaticamente la configurazione di packaging del progetto per includere la directory RuntimeLocalLLM/Models in Additional Non-Asset Directories To Copy (DirectoriesToAlwaysStageAsNonUFS). Ciò garantisce che tutti i file del modello vengano inclusi nel build pacchettizzato. Non è necessario configurarlo manualmente.