Перейти к основному содержимому

Управление моделями в редакторе

Плагин предоставляет панель настроек в редакторе Unreal Engine, где вы можете просматривать, скачивать, импортировать, удалять и тестировать LLM-модели.

Доступ к настройкам плагина​

  1. Откройте Edit → Project Settings
  2. Перейдите в Plugins → Runtime Local LLM

Панель настроек имеет два основных раздела:

  • Загруженные модели: Модели, находящиеся на диске и готовые к использованию
  • Доступные модели: Предустановленные модели из встроенного каталога, которые можно скачать

Загрузка моделей​

  1. В разделе Доступные модели найдите нужное семейство и вариант модели
  2. Нажмите кнопку Download рядом с вариантом
  3. Индикатор прогресса показывает статус загрузки
  4. По завершении модель перемещается в раздел Загруженные модели

Можно загружать несколько моделей одновременно. Чтобы отменить текущую загрузку, нажмите кнопку Cancel рядом с ней.

Чтобы удалить загруженные модели, нажмите кнопку Delete рядом с моделью, которую хотите удалить.

Все скачанные модели будут упакованы вместе с вашим проектом, поэтому для уменьшения размера проекта удаляйте модели, которые вам больше не нужны.

Выбор модели

Для мобильных/VR-платформ начните с небольшой модели (1B–3B параметров) с квантованием Q4_K_M. Для настольных ПК модели на 7B с квантованием Q4_K_M или Q5_K_M обеспечивают хороший баланс качества и производительности.

Импорт пользовательских моделей​

Вы можете импортировать любой GGUF-файл из вашей локальной файловой системы или по URL:

  1. Нажмите кнопку Import Custom Model в верхней части панели настроек
  2. В появившемся диалоговом окне выберите режим:
    • Import Local File: Найдите файл .gguf на диске
    • Download from URL: Введите прямой URL-адрес файла .gguf
  3. Заполните название модели и опционально описание / количество параметров
  4. Нажмите Confirm для импорта или начала загрузки

При импорте локального файла плагин копирует его в директорию Content/RuntimeLocalLLM/Models и создаёт файл с метаданными. При импорте по URL плагин загружает файл напрямую в эту же директорию.

Пользовательские модели обрабатываются так же, как загруженные модели, и будут упакованы вместе с вашим проектом.

Тестирование моделей в редакторе​

Плагин включает тестовое окно для быстрой проверки инференции без запуска игры:

  1. Нажмите кнопку Test LLM в верхней части панели настроек
  2. В тестовом окне выберите модель из выпадающего списка моделей на диске
  3. Настройте параметры инференции (температуру, максимальное количество токенов, системный промпт и т.д.)
  4. Введите запрос и нажмите Send
  5. Наблюдайте за потоком ответа в реальном времени
  6. Нажмите Stop, чтобы отменить генерацию, или Clear, чтобы сбросить разговор

Это полезно для проверки того, что модель работает правильно, прежде чем интегрировать её в игровую логику.

Настройки упаковки​

Когда вы загружаете или импортируете модель, плагин автоматически обновляет конфигурацию упаковки вашего проекта, чтобы включить директорию RuntimeLocalLLM/Models в Additional Non-Asset Directories To Copy (DirectoriesToAlwaysStageAsNonUFS). Это гарантирует, что все файлы модели будут включены в финальную сборку. Вам не нужно настраивать это вручную.