Runtime Local LLM

Runtime Local LLM 插件的文檔。

• 在 Fab 上獲取
• 產品網站
• 下載示範 (Windows)
• 影片教學
• 插件支援與客製開發：[email protected]（為團隊與組織提供的量身解決方案）

Join our Discord

online · support

📄️概述

在 Unreal Engine 中完全在设备端运行大型语言模型，使用 llama.cpp。支持 GGUF 模型的离线推理、Token 流式传输，以及完整的蓝图和 C++ API，覆盖 Windows、Mac、Linux、Android、iOS 和 Meta Quest 平台。

📄️在編輯器中管理模型

在 Unreal Engine 編輯器中，直接使用 Runtime Local LLM 外掛設定面板來瀏覽、下載、匯入、刪除和測試 LLM 模型。

📄️如何使用插件

完整的執行階段 API 參考文件，涵蓋 Runtime Local LLM 插件的 LLM 實例建立、模型載入、訊息傳送、下載、狀態管理、模型庫函數和工具程式。

📄️範例

針對 Runtime Local LLM 外掛程式提供可直接使用的 Blueprint 與 C++ 範例，包含簡易對話、下載後對話、模型預先下載以及 NPC 對話系統。

📄️推論參數

所有LLM推理参数的详细参考，包括温度、top-p、top-k、重复惩罚、GPU层卸载、上下文大小、种子和线程数，以及针对移动端、VR和桌面端的平台特定建议。

📄️疑難排解

Runtime Local LLM 外掛程式的常見問題疑難排解

📄️示範專案

一個即開即用的示範專案，專為 Runtime Local LLM 外掛程式設計，具備串流回應的聊天介面、透過網址下載模型，以及可設定的推論參數。