Перейти к основному содержимому

Управление моделями в редакторе

Плагин предоставляет панель настроек внутри редактора Unreal Engine, где вы можете просматривать, загружать, импортировать, удалять и тестировать модели LLM.

Доступ к настройкам плагина​

  1. Откройте Правка → Настройки проекта
  2. Перейдите в Плагины → Runtime Local LLM

Панель настроек состоит из двух основных разделов:

  • Загруженные модели: Модели, уже находящиеся на диске и готовые к использованию
  • Доступные модели: Предопределенные модели из встроенного каталога, которые можно загрузить

Загрузка моделей​

  1. В разделе Доступные модели найдите семейство и вариант нужной модели
  2. Нажмите кнопку Загрузить рядом с вариантом
  3. Индикатор выполнения показывает статус загрузки
  4. После завершения модель перемещается в раздел Загруженные модели

Вы можете загружать несколько моделей одновременно. Чтобы отменить текущую загрузку, нажмите кнопку Отмена рядом с ней.

Чтобы удалить любые загруженные модели, нажмите кнопку Delete рядом с моделью, которую хотите удалить.

Все загруженные модели будут упакованы вместе с вашим проектом, поэтому для уменьшения размера проекта удалите все модели, которые вам больше не нужны.

Выбор модели

Для мобильных/VR-платформ начните с небольшой модели (1–3 млрд параметров) с квантизацией Q4_K_M. Для настольных ПК модели на 7 млрд параметров с квантизацией Q4_K_M или Q5_K_M обеспечивают хороший баланс между качеством и производительностью.

Импорт пользовательских моделей​

Вы можете импортировать любой GGUF-файл из вашей локальной файловой системы или по URL-адресу:

  1. Нажмите кнопку Импорт пользовательской модели в верхней части панели настроек
  2. В появившемся диалоговом окне выберите режим:
    • Импорт локального файла: Выберите файл .gguf на диске
    • Загрузка по URL: Введите прямую ссылку на файл .gguf
  3. Укажите название модели и необязательное описание / количество параметров
  4. Нажмите Подтвердить, чтобы импортировать или начать загрузку

При импорте локального файла плагин копирует его в каталог Content/RuntimeLocalLLM/Models и создаёт сопутствующий файл метаданных. При импорте по URL плагин загружает файл напрямую в этот каталог.

Пользовательские модели обрабатываются так же, как и загруженные модели, и будут упакованы вместе с вашим проектом.

Тестирование моделей в редакторе​

Плагин включает тестовое окно для быстрой проверки инференса без запуска игры:

  1. Нажмите кнопку Тест LLM в верхней части панели настроек
  2. В окне тестирования выберите модель из выпадающего списка моделей на диске
  3. Настройте параметры вывода (температура, максимальное количество токенов, системный промпт и т.д.)
  4. Введите промпт и нажмите Отправить
  5. Наблюдайте за потоком ответа в реальном времени
  6. Нажмите Стоп, чтобы отменить генерацию, или Очистить, чтобы сбросить диалог

Это полезно для проверки того, что модель работает корректно, прежде чем интегрировать её в игровую логику.

Настройки упаковки​

Когда вы загружаете или импортируете модель, плагин автоматически обновляет конфигурацию упаковки вашего проекта, чтобы включить каталог RuntimeLocalLLM/Models в Дополнительные каталоги, не являющиеся ассетами, для копирования (DirectoriesToAlwaysStageAsNonUFS). Это гарантирует, что все файлы моделей будут включены в вашу собранную сборку. Вам не нужно настраивать это вручную.