跳到主要内容

Demo 项目

在插件的Content目录中的Demo文件夹里,您会找到为演示目的而创建的资源。

如果您看不到插件目录,请打开内容浏览器,点击右上角的设置按钮,并启用显示引擎内容显示插件内容。演示项目应位于EnginePluginsRuntime Local LLM Content目录中。

这些资源用于演示设备端LLM推理的实现。该演示包括:

  • 一个聊天界面,您可以在其中发送消息并从LLM接收逐令牌的流式响应
  • 预下载的模型,开箱即用
  • 能够在运行时通过URL下载其他模型
  • 一个用于配置推理参数(temperature、max tokens、context size 等)的设置菜单

该演示使用Blueprint和UMG widget实现,以求简洁。它支持UE 4.27及更高版本。

要测试演示,请打开位于Demo文件夹中的RLLM_Demo关卡,并在编辑器中运行它。这将在您的屏幕上显示LLM聊天widget,您可以与之交互。您还可以为您的目标设备打包项目。要将RLLM_Demo关卡设置为打包项目中的默认关卡,请转到项目设置,并将RLLM_Demo设置为Game Default Map