跳到主要内容

managing-models-in-the-editor

在编辑器中管理模型

该插件在 Unreal Engine 编辑器中提供了一个设置面板，您可以在其中浏览、下载、导入、删除和测试 LLM 模型。

访问插件设置​

  1. 打开 Edit → Project Settings
  2. 导航至 Plugins → Runtime Local LLM

设置面板有两个主要部分：

  • 已下载模型：磁盘上当前可立即使用的模型
  • 可用模型：来自内置目录的预定义模型，可供下载

下载模型​

  1. 在可用模型部分，找到您想要的模型系列和变体
  2. 点击该变体旁边的 Download 按钮
  3. 进度条会显示下载状态
  4. 完成后，模型将移至已下载模型部分

您可以同时下载多个模型。要取消正在进行的下载，请点击旁边的 Cancel 按钮。

要删除任何已下载的模型，请点击您想要删除的模型旁边的 Delete 按钮。

所有下载的模型都会打包到你的项目中，因此为了减小项目体积，请删除不再需要的模型。

选择模型

对于移动端/VR 平台，建议从量化方式为 Q4_K_M 的小型模型（1B–3B 参数）开始。对于桌面端，7B 模型搭配 Q4_K_M 或 Q5_K_M 量化可提供质量与性能的良好平衡。

导入自定义模型​

你可以从本地文件系统或 URL 导入任意 GGUF 文件：

  1. 点击设置面板顶部的 Import Custom Model 按钮
  2. 在出现的对话框中，选择一种模式：
    • Import Local File：浏览磁盘上的 .gguf 文件
    • Download from URL：输入指向 .gguf 文件的直接 URL
  3. 填写模型名称以及可选的描述 / 参数数量
  4. 点击 Confirm 导入或开始下载

导入本地文件时，插件会将其复制到 Content/RuntimeLocalLLM/Models 目录并创建一个元数据伴生文件。通过 URL 导入时，插件会直接将该文件下载到该目录。

自定义模型与已下载模型的处理方式相同，并将随项目一起打包。

在编辑器中测试模型​

该插件包含一个测试窗口，方便您在不运行游戏的情况下快速进行推理测试：

  1. 点击设置面板顶部的 Test LLM 按钮
  2. 在测试窗口中，从磁盘上已有的模型下拉列表中选择一个模型
  3. 配置推理参数（温度、最大令牌数、系统提示等）
  4. 输入提示并点击 Send
  5. 实时观察响应流
  6. 点击 Stop 取消生成，或点击 Clear 重置对话

这对于在将模型集成到游戏逻辑之前验证模型是否正常工作非常有用。

打包设置​

当您下载或导入模型时，该插件会自动更新项目的打包配置，将 RuntimeLocalLLM/Models 目录包含在 Additional Non-Asset Directories To Copy (DirectoriesToAlwaysStageAsNonUFS) 中。这确保了所有模型文件都随您的打包版本一起发布。您无需手动配置此设置。