Saltar al contenido principal

Gestionando modelos en el editor

El plugin proporciona un panel de configuración dentro del editor de Unreal Engine donde puedes navegar, descargar, importar, eliminar y probar modelos LLM.

Accediendo a la Configuración del Plugin​

  1. Abre Editar → Configuración del Proyecto
  2. Navega a Plugins → Runtime Local LLM

El panel de configuración tiene dos secciones principales:

  • Modelos Descargados: Modelos actualmente en disco y listos para usar
  • Modelos Disponibles: Modelos predefinidos del catálogo integrado que puedes descargar

Descargando modelos​

  1. En la sección Modelos Disponibles, busca la familia y variante del modelo que deseas
  2. Haz clic en el botón Descargar junto a la variante
  3. Una barra de progreso muestra el estado de la descarga
  4. Una vez completada, el modelo se mueve a la sección Modelos Descargados

Puedes descargar varios modelos simultáneamente. Para cancelar una descarga en curso, haz clic en el botón Cancelar junto a ella.

Para eliminar cualquier modelo descargado, haz clic en el botón Eliminar junto al modelo que deseas quitar.

Todos los modelos descargados se empaquetarán con tu proyecto, así que para reducir el tamaño del proyecto, elimina cualquier modelo que ya no necesites.

Seleccionando un modelo

Para plataformas móviles/VR, comienza con un modelo pequeño (1B–3B parámetros) con cuantización Q4_K_M. Para escritorio, los modelos de 7B con cuantización Q4_K_M o Q5_K_M ofrecen un buen equilibrio entre calidad y rendimiento.

Importación de modelos personalizados​

Puedes importar cualquier archivo GGUF desde tu sistema de archivos local o desde una URL.

  1. Haga clic en el botón Importar modelo personalizado en la parte superior del panel de configuración
  2. En el cuadro de diálogo que aparece, elija un modo:
    • Importar archivo local: Buscar un archivo .gguf en el disco
    • Descargar desde URL: Ingresar una URL directa a un archivo .gguf
  3. Completa el nombre del modelo y la descripción opcional / cantidad de parámetros
  4. Haz clic en Confirmar para importar o iniciar la descarga

Al importar un archivo local, el plugin lo copia en el directorio Content/RuntimeLocalLLM/Models y crea un archivo sidecar de metadatos. Al importar desde una URL, el plugin descarga el archivo directamente a ese directorio.

Los modelos personalizados se tratan de la misma manera que los modelos descargados y se empaquetarán con tu proyecto.

Probando modelos en el Editor​

El plugin incluye una ventana de prueba para realizar inferencias rápidas sin ejecutar tu juego:

  1. Haga clic en el botón Probar LLM en la parte superior del panel de configuración
  2. En la ventana de prueba, seleccione un modelo del menú desplegable de modelos en disco
  3. Configure los parámetros de inferencia (temperatura, tokens máximos, prompt del sistema, etc.)
  4. Ingrese un prompt y haga clic en Enviar
  5. Observe el flujo de respuesta en tiempo real
  6. Haga clic en Detener para cancelar la generación, o en Limpiar para reiniciar la conversación

Esto es útil para verificar que un modelo funciona correctamente antes de integrarlo en la lógica de tu juego.

Configuración de empaquetado​

Cuando descargas o importas un modelo, el plugin actualiza automáticamente la configuración de empaquetado de tu proyecto para incluir el directorio RuntimeLocalLLM/Models en Directorios adicionales sin activos para copiar (DirectoriesToAlwaysStageAsNonUFS). Esto garantiza que todos los archivos del modelo se incluyan en tu compilación empaquetada. No necesitas configurar esto manualmente.