Runtime Local LLM

Runtime Local LLM 外掛程式的文件。

• Get it on Fab
• 產品網站
• 下載示範版（Windows）
• 影片教學
• 外掛支援與客製開發：[email protected]（為團隊與組織提供量身打造的解決方案）

Join our Discord

online · support

📄️概述

在 Unreal Engine 中透過 llama.cpp 完全在裝置端執行大型語言模型。支援離線推論、GGUF 模型、Token 串流，並提供完整的 Blueprint 與 C++ API，適用於 Windows、Mac、Linux、Android、iOS 及 Meta Quest 平台。

📄️在編輯器中管理模型

直接在 Unreal Engine 編輯器中，透過 Runtime Local LLM 外掛設定面板，即可瀏覽、下載、匯入、刪除及測試 LLM 模型。

📄️如何使用此插件

Runtime Local LLM 外掛程式的完整執行時期 API 參考，涵蓋 LLM 實例建立、模型載入、訊息傳送、下載、狀態管理、模型庫函式及公用程式。

📄️範例

Runtime Local LLM 外掛程式的即用型 Blueprint 與 C++ 範例，包含簡易聊天、下載後聊天、模型預先下載以及 NPC 對話系統。

📄️推論參數

所有 LLM 推論參數的詳細參考，包括溫度（temperature）、top-p、top-k、重複懲罰（repeat penalty）、GPU 層卸載（GPU layer offloading）、上下文大小（context size）、種子（seed）和執行緒數量（thread count），並針對行動裝置、VR 和桌面平台提供特定建議。

📄️疑難排解

Runtime Local LLM 外掛程式常見問題疑難排解

📄️示範專案

一個立即可用的示範專案，專為 Runtime Local LLM 插件設計，具備串流回應的聊天介面、透過網址下載模型，以及可設定的推論參數。