跳到主要内容

在编辑器中管理模型

该插件在虚幻引擎编辑器中提供了一个设置面板，您可以在其中浏览、下载、导入、删除和测试LLM模型。

访问插件设置​

  1. 打开 编辑 → 项目设置
  2. 导航至 插件 → Runtime Local LLM

设置面板包含两个主要部分：

  • 已下载模型：当前存储在磁盘上并可立即使用的模型
  • 可用模型：内置目录中预定义且可供下载的模型

下载模型​

  1. 在可用模型部分，找到您需要的模型系列及变体
  2. 点击该变体旁的下载按钮
  3. 进度条会显示下载状态
  4. 下载完成后，模型将移至已下载模型部分

您可以同时下载多个模型。要取消正在进行的下载，请点击其旁边的取消按钮。

要删除任何已下载的模型，请点击要移除模型旁边的删除按钮。

所有已下载的模型都将随项目一起打包，为减小项目体积，请删除不再需要的模型。

选择模型

对于移动/VR平台，建议从量化等级为Q4_K_M的小型模型（1B–3B参数）开始。对于桌面平台，采用Q4_K_M或Q5_K_M量化的7B模型可在质量与性能之间取得良好平衡。

导入自定义模型​

您可以从本地文件系统或URL导入任何GGUF文件：

  1. 点击设置面板顶部的 导入自定义模型 按钮
  2. 在出现的对话框中，选择一种模式：
    • 导入本地文件：浏览磁盘上的 .gguf 文件
    • 从 URL 下载：输入 .gguf 文件的直接链接
  3. 填写模型名称及可选的描述/参数数量
  4. 点击确认以导入或开始下载

导入本地文件时，插件会将其复制到 Content/RuntimeLocalLLM/Models 目录，并创建一个元数据侧车文件。从 URL 导入时，插件会直接将文件下载到该目录。

自定义模型与下载的模型处理方式相同，并将随您的项目一起打包。

在编辑器中测试模型​

该插件包含一个测试窗口，可在不运行游戏的情况下快速进行推理测试：

  1. 点击设置面板顶部的 测试 LLM 按钮
  2. 在测试窗口中，从磁盘模型下拉列表中选择一个模型
  3. 配置推理参数（温度、最大令牌数、系统提示等）
  4. 输入提示词并点击 发送
  5. 实时查看响应流
  6. 点击 停止 取消生成，或点击 清除 重置对话

这在将模型集成到游戏逻辑之前，用于验证其是否正常工作非常有用。

打包设置​

当你下载或导入模型时，插件会自动更新项目的打包配置，将 RuntimeLocalLLM/Models 目录添加到要复制的其他非资产目录（DirectoriesToAlwaysStageAsNonUFS）中。这能确保所有模型文件随打包版本一同发布，无需手动配置。