Runtime Local LLM
Documentação do plugin Runtime Local LLM.
- Obtenha no Fab
- Site do produto
- Baixar demonstração (Windows)
- Vídeo tutorial
- Suporte ao plugin e desenvolvimento personalizado: [email protected] (soluções sob medida para equipes e organizações)
Visão Geral
Execute grandes modelos de linguagem inteiramente no dispositivo no Unreal Engine usando llama.cpp. Inferência offline com modelos GGUF, streaming de tokens e suporte completo às APIs Blueprint e C++ no Windows, Mac, Linux, Android, iOS e Meta Quest.
Gerenciando modelos no editor
Navegue, baixe, importe, exclua e teste modelos LLM diretamente no editor do Unreal Engine usando o painel de configurações do plugin Runtime Local LLM.
Como usar o plugin
Referência completa da API de runtime para o plugin Runtime Local LLM, abrangendo criação de instância LLM, carregamento de modelo, envio de mensagens, download, gerenciamento de estado, funções da biblioteca de modelos e utilitários.
Exemplos
Exemplos prontos para uso em Blueprint e C++ para o plugin Runtime Local LLM, incluindo chat simples, download e chat, pré-download de modelo e sistemas de diálogo com NPC.
Parâmetros de Inferência
Referência detalhada de todos os parâmetros de inferência de LLM, incluindo temperatura, top-p, top-k, penalidade de repetição, descarregamento de camadas de GPU, tamanho do contexto, semente e contagem de threads, com recomendações específicas para as plataformas móvel, VR e desktop.
Solução de problemas
Solução de problemas comuns com o plugin Runtime Speech Recognizer.
Projeto de demonstração
Um projeto de demonstração pronto para uso para o plugin Runtime Local LLM com uma interface de chat com respostas em streaming, download de modelos via URL e parâmetros de inferência configuráveis.