Демонстрационный проект

В папке Demo внутри каталога Content плагина вы найдете ассеты, созданные для демонстрационных целей.

Если вы не видите каталог плагинов, откройте Контент-браузер, нажмите кнопку Настройки в правом верхнем углу и включите Показать содержимое движка и Показать содержимое плагинов. Демонстрационный проект должен находиться в каталоге Движок → Плагины → Runtime Local LLM Content.

Эти ассеты предоставлены для демонстрации реализации вывода LLM на устройстве. Демо включает:

• Интерфейс чата, где вы можете отправлять сообщения и получать потоковые ответы от LLM токен за токеном
• Предварительно загруженные модели, готовые к использованию сразу после установки
• Возможность загружать дополнительные модели через URL во время выполнения
• Меню настроек для конфигурации параметров инференса (температура, максимальное количество токенов, размер контекста и т.д.)

Демо-версия реализована с использованием Blueprints и виджетов UMG для простоты. Она поддерживает UE 4.27 и более поздние версии.

Чтобы протестировать демо, откройте уровень RLLM_Demo, расположенный в папке Demo, и запустите его в редакторе. На экране отобразятся виджеты чата LLM, с которыми можно взаимодействовать. Вы также можете собрать проект для целевого устройства. Чтобы установить уровень RLLM_Demo в качестве уровня по умолчанию в собранном проекте, перейдите в настройки проекта и укажите RLLM_Demo как Карта по умолчанию для игры.