Демо-проект

В папке Demo внутри директории Content плагина вы найдете ассеты, созданные для демонстрационных целей.

Если вы не видите директорию плагина, откройте Content Browser, нажмите кнопку Settings в правом верхнем углу и включите Show Engine Content и Show Plugin Content. Демо-проект должен находиться в директории Engine → Plugins → Runtime Local LLM Content.

Эти ассеты предоставлены для демонстрации реализации инференса LLM на устройстве. Демо включает:

• Интерфейс чата, в котором можно отправлять сообщения и получать потоковые ответы по токенам от LLM
• Предварительно загруженные модели, готовые к использованию «из коробки»
• Возможность загрузки дополнительных моделей по URL во время выполнения
• Меню настроек для конфигурации параметров инференса (температура, максимальное количество токенов, размер контекста и т. д.)

Демо реализовано с использованием Blueprints и виджетов UMG для простоты. Поддерживаются UE 4.27 и более поздние версии.

Чтобы протестировать демо, откройте уровень RLLM_Demo, расположенный в папке Demo, и запустите его в редакторе. На экране отобразятся виджеты чата LLM, с которыми можно взаимодействовать. Вы также можете упаковать проект для вашего целевого устройства. Чтобы установить уровень RLLM_Demo по умолчанию в упакованном проекте, перейдите в настройки проекта и установите RLLM_Demo как Game Default Map.