Runtime Local LLM
Documentación para el complemento Runtime Local LLM.
- Obténgalo en Fab
- Sitio web del producto
- Descargar Demo (Windows)
- Tutorial en video
- Soporte del plugin y desarrollo personalizado: [email protected] (soluciones adaptadas para equipos y organizaciones)
Resumen
Ejecuta modelos de lenguaje grandes completamente en el dispositivo en Unreal Engine usando llama.cpp. Inferencia sin conexión con modelos GGUF, transmisión de tokens y soporte completo de API de Blueprint y C++ en Windows, Mac, Linux, Android, iOS y Meta Quest.
Gestión de modelos en el editor
Navegue, descargue, importe, elimine y pruebe modelos LLM directamente en el editor de Unreal Engine usando el panel de configuración del complemento Runtime Local LLM.
Cómo usar el plugin
Referencia completa de la API en tiempo de ejecución para el plugin Runtime Local LLM que cubre la creación de instancias de LLM, carga de modelos, envío de mensajes, descarga, gestión de estado, funciones de la biblioteca de modelos y utilidades.
Ejemplos
Ejemplos listos para usar de Blueprint y C++ para el plugin Runtime Local LLM que incluyen chat simple, descarga y chat, pre-descarga de modelos y sistemas de diálogo de NPC.
Parámetros de inferencia
Referencia detallada de todos los parámetros de inferencia de LLM, incluyendo temperatura, top-p, top-k, penalización por repetición, descarga de capas a la GPU, tamaño de contexto, semilla y número de hilos, con recomendaciones específicas para plataformas móviles, VR y de escritorio.
Resolución de problemas
Solución de problemas comunes con el plugin Runtime Speech Recognizer.
Proyecto de demostración
Un proyecto de demostración listo para usar para el plugin Runtime Local LLM que presenta una interfaz de chat con respuestas en streaming, descarga de modelos a través de URL y parámetros de inferencia configurables.