在編輯器中管理模型

該插件在 Unreal Engine 編輯器中提供了一個設定面板，您可以在其中瀏覽、下載、匯入、刪除及測試 LLM 模型。

存取外掛程式設定

1. 開啟 編輯 → 專案設定
2. 導航至 插件 → Runtime Local LLM

設定面板包含兩個主要區塊：

• 已下載模型：目前儲存在磁碟上且可立即使用的模型
• 可用模型：內建目錄中預先定義、可供下載的模型

下載模型

1. 在可用模型區段中，找到您要的模型系列與變體
2. 點擊該變體旁的下載按鈕
3. 進度條會顯示下載狀態
4. 完成後，模型會移至已下載模型區段

您可以同時下載多個模型。若要取消正在進行的下載，請點擊其旁的取消按鈕。

若要刪除任何已下載的模型，請點擊您想移除的模型旁的刪除按鈕。

所有下載的模型都會與您的專案一起打包，因此為減少專案大小，請刪除任何不再需要的模型。

選擇模型

針對行動裝置/VR 平台，請從小型模型（1B–3B 參數）開始，並採用 Q4_K_M 量化。針對桌上型電腦，7B 模型搭配 Q4_K_M 或 Q5_K_M 量化，可在品質與效能之間取得良好平衡。

匯入自訂模型

您可以從本機檔案系統或網址匯入任何 GGUF 檔案：

1. 點擊設定面板頂部的 匯入自訂模型 按鈕
2. 在出現的對話框中，選擇一個模式：
   • 匯入本地檔案：瀏覽磁碟上的 .gguf 檔案
   • 從網址下載：輸入 .gguf 檔案的直接網址
3. 填入模型名稱與可選的描述/參數數量
4. 點擊確認以匯入或開始下載

當匯入本地檔案時，外掛程式會將其複製到 Content/RuntimeLocalLLM/Models 目錄，並建立一個中繼資料側車檔案。當從 URL 匯入時，外掛程式會直接將檔案下載到該目錄。

自訂模型與下載的模型處理方式相同，並會與您的專案一起打包。

在編輯器中測試模型

外掛程式包含一個測試視窗，讓您無需執行遊戲即可快速進行推論測試。

1. 點擊設定面板頂部的 測試 LLM 按鈕
2. 在測試視窗中，從磁碟上的模型下拉選單中選擇一個模型
3. 配置推論參數（溫度、最大 Token 數、系統提示詞等）
4. 輸入提示詞並點擊 發送
5. 即時觀看回應串流
6. 點擊 停止 取消生成，或點擊 清除 重置對話

這有助於在將模型整合到遊戲邏輯之前，驗證其是否正常運作。

封裝設定

當您下載或匯入模型時，外掛程式會自動更新專案的打包設定，將 RuntimeLocalLLM/Models 目錄加入要複製的其他非資產目錄（DirectoriesToAlwaysStageAsNonUFS）。這可確保所有模型檔案隨打包版本一同發佈，您無需手動進行此設定。