Runtime Local LLM
Documentazione per il plugin Runtime Local LLM.
- Ottienilo su Fab
- Sito web del prodotto
- Scarica la Demo (Windows)
- Tutorial video
- Supporto plugin e sviluppo personalizzato: [email protected] (soluzioni su misura per team e organizzazioni)
Panoramica
Esegui modelli linguistici di grandi dimensioni interamente sul dispositivo in Unreal Engine utilizzando llama.cpp. Inferenza offline con modelli GGUF, streaming di token e supporto completo per le API Blueprint e C++ su Windows, Mac, Linux, Android, iOS e Meta Quest.
managing-models-in-the-editor
Sfoglia, scarica, importa, elimina e testa i modelli LLM direttamente nell'editor di Unreal Engine utilizzando il pannello delle impostazioni del plugin Runtime Local LLM.
Come usare il plugin
Riferimento API runtime completo per il plugin Runtime Local LLM che copre la creazione di istanze LLM, il caricamento dei modelli, l'invio dei messaggi, il download, la gestione dello stato, le funzioni della libreria dei modelli e le utilità.
Esempi
Esempi pronti all'uso in Blueprint e C++ per il plugin Runtime Local LLM incluse chat semplice, scarica e chatta, pre-scaricamento del modello e sistemi di dialogo con PNG.
Parametri di inferenza
Riferimento dettagliato per tutti i parametri di inferenza LLM inclusi temperatura, top-p, top-k, penalità di ripetizione, scarico dei livelli GPU, dimensione del contesto, seed e numero di thread, con raccomandazioni specifiche per piattaforma per mobile, VR e desktop.
Risoluzione dei problemi
Risoluzione dei problemi comuni con il plugin Runtime Speech Recognizer.
Progetto dimostrativo
Un progetto demo pronto all'uso per il plugin Runtime Local LLM dotato di un'interfaccia chat con risposte in streaming, download del modello tramite URL e parametri di inferenza configurabili.