Gestión de modelos en el editor

El plugin proporciona un panel de configuración dentro del editor de Unreal Engine donde puedes explorar, descargar, importar, eliminar y probar modelos de LLM.

Accediendo a la configuración del plugin

1. Abre Edit → Project Settings
2. Navega a Plugins → Runtime Local LLM

El panel de configuración tiene dos secciones principales:

• Modelos descargados: Modelos actualmente en disco y listos para usar
• Modelos disponibles: Modelos predefinidos del catálogo integrado que puedes descargar

Descargando modelos

1. En la sección Modelos disponibles, encuentra la familia de modelos y la variante que desees
2. Haz clic en el botón Descargar junto a la variante
3. Una barra de progreso muestra el estado de la descarga
4. Una vez completada, el modelo se mueve a la sección Modelos descargados

Puedes descargar varios modelos simultáneamente. Para cancelar una descarga en curso, haz clic en el botón Cancelar junto a ella.

Para eliminar cualquier modelo descargado, haz clic en el botón Eliminar al lado del modelo que quieras quitar.

Todos los modelos descargados se empaquetarán con tu proyecto, por lo que para reducir el tamaño del proyecto, elimina los modelos que ya no necesites.

Elegir un modelo

Para plataformas móviles/VR, comienza con un modelo pequeño (parámetros de 1B–3B) con cuantización Q4_K_M. Para escritorio, los modelos 7B con cuantización Q4_K_M o Q5_K_M ofrecen un buen equilibrio entre calidad y rendimiento.

Importar modelos personalizados

Puedes importar cualquier archivo GGUF desde tu sistema de archivos local o una URL:

1. Haz clic en el botón Import Custom Model en la parte superior del panel de configuración
2. En el cuadro de diálogo que aparece, elige un modo:
   • Import Local File: Navega para buscar un archivo .gguf en el disco
   • Download from URL: Introduce una URL directa a un archivo .gguf
3. Rellena el nombre del modelo y, opcionalmente, la descripción / cantidad de parámetros
4. Haz clic en Confirm para importar o iniciar la descarga

Cuando importas un archivo local, el plugin lo copia al directorio Content/RuntimeLocalLLM/Models y crea un archivo sidecar de metadatos. Al importar desde una URL, el plugin descarga el archivo directamente a ese directorio.

Los modelos personalizados se tratan igual que los modelos descargados y se empaquetarán con tu proyecto.

Probando Modelos en el Editor

El plugin incluye una ventana de prueba para realizar pruebas rápidas de inferencia sin ejecutar tu juego:

1. Haz clic en el botón Test LLM en la parte superior del panel de configuración.
2. En la ventana de prueba, selecciona un modelo del menú desplegable de modelos disponibles en el disco.
3. Configura los parámetros de inferencia (temperature, max tokens, system prompt, etc.).
4. Introduce un prompt y haz clic en Send.
5. Observa el flujo de respuesta en tiempo real.
6. Haz clic en Stop para cancelar la generación, o en Clear para restablecer la conversación.

Esto es útil para verificar que un modelo funciona correctamente antes de integrarlo en la lógica de tu juego.

Configuración del empaquetado

Cuando descargas o importas un modelo, el plugin actualiza automáticamente la configuración de empaquetado del proyecto para incluir el directorio RuntimeLocalLLM/Models en Directorios no relacionados con activos adicionales a copiar (DirectoriesToAlwaysStageAsNonUFS). Esto asegura que todos los archivos del modelo se incluyan en la compilación empaquetada. No necesitas configurar esto manualmente.