Runtime Local LLM
Documentación del plugin Runtime Local LLM.
- Get it on Fab
- Sitio web del producto
- Descargar demo (Windows)
- Tutorial en video
- Soporte de plugins y desarrollo personalizado: [email protected] (soluciones a medida para equipos y organizaciones)
Resumen
Ejecuta modelos de lenguaje grandes completamente en el dispositivo en Unreal Engine usando llama.cpp. Inferencia sin conexión con modelos GGUF, transmisión de tokens y soporte completo de API para Blueprint y C++ en Windows, Mac, Linux, Android, iOS y Meta Quest.
Gestionando modelos en el editor
Navega, descarga, importa, elimina y prueba modelos LLM directamente en el editor de Unreal Engine usando el panel de configuración del plugin Runtime Local LLM.
Cómo usar el plugin
Referencia completa de la API en tiempo de ejecución para el complemento Runtime Local LLM, que cubre la creación de instancias de LLM, carga de modelos, envío de mensajes, descargas, gestión de estados, funciones de la biblioteca de modelos y utilidades.
Ejemplos
Ejemplos listos para usar en Blueprint y C++ para el plugin Runtime Local LLM, que incluyen chat simple, descarga y chat, descarga previa de modelos y sistemas de diálogo para NPC.
Parámetros de inferencia
Referencia detallada para todos los parámetros de inferencia de LLM, incluyendo temperatura, top-p, top-k, penalización por repetición, descarga de capas a GPU, tamaño de contexto, semilla y número de hilos, con recomendaciones específicas para plataformas móviles, VR y de escritorio.
Solución de problemas
Solución de problemas comunes con el plugin Runtime Local LLM.
Proyecto de demostración
Un proyecto de demostración listo para usar del plugin Runtime Local LLM que incluye una interfaz de chat con respuestas en streaming, descarga de modelos mediante URL y parámetros de inferencia configurables.