跳至主要内容

在編輯器中管理模型

此插件在 Unreal Engine 編輯器中提供了一個設定面板，您可以在其中瀏覽、下載、匯入、刪除和測試 LLM 模型。

存取外掛設定​

  1. 開啟 Edit → Project Settings
  2. 導覽至 Plugins → Runtime Local LLM

設定面板包含兩個主要區段：

  • Downloaded Models：目前存在於磁碟上且可立即使用的模型
  • Available Models：內建目錄中預先定義、可供下載的模型

下載模型​

  1. 在 Available Models 區段中，找到您想要的模型系列與變體
  2. 點擊該變體旁的 Download 按鈕
  3. 進度條會顯示下載狀態
  4. 完成後，模型會移至 Downloaded Models 區段

您可以同時下載多個模型。若要取消正在進行中的下載，請點擊其旁的 Cancel 按鈕。

若要刪除任何已下載的模型，請點擊您要移除之模型旁的 Delete 按鈕。

所有已下载的模型都会随项目一起打包，因此为了减小项目体积，请删除不再需要的模型。

选择模型

对于移动端/VR平台，建议从Q4_K_M量化的小模型（1B–3B参数）开始。对于桌面端，Q4_K_M或Q5_K_M量化的7B模型能在质量与性能之间取得良好平衡。

导入自定义模型​

您可以从本地文件系统或URL导入任意GGUF文件：

  1. 点击设置面板顶部的 导入自定义模型 按钮
  2. 在弹出的对话框中选择一种模式：
    • 导入本地文件：浏览磁盘上的 .gguf 文件
    • 从URL下载：输入 .gguf 文件的直接链接
  3. 填写模型名称以及可选的描述/参数数量
  4. 点击 确认 开始导入或下载

导入本地文件时，插件会将其复制到 Content/RuntimeLocalLLM/Models 目录，并创建一个元数据侧边文件。从 URL 导入时，插件会直接将文件下载到该目录。

自定义模型与下载的模型处理方式相同，并会随您的项目一起打包。

在编辑器中测试模型​

该插件包含一个测试窗口，用于在不运行游戏的情况下快速进行推理测试：

  1. 点击设置面板顶部的 Test LLM 按钮
  2. 在测试窗口中，从磁盘上的模型下拉列表中选择一个模型
  3. 配置推理参数（温度、最大令牌数、系统提示等）
  4. 输入提示词并点击 Send
  5. 实时观察响应流
  6. 点击 Stop 取消生成，或点击 Clear 重置对话

這對於在將模型整合到遊戲邏輯之前驗證其是否正常運作非常有用。

打包設定​

當您下載或匯入模型時，外掛程式會自動更新專案的打包設定，將 RuntimeLocalLLM/Models 目錄包含在 要複製的其他非資產目錄（DirectoriesToAlwaysStageAsNonUFS）中。這確保了所有模型檔案都能隨您的打包建置一起發布。您無需手動進行此設定。