Runtime Local LLM

Runtime Local LLM 外掛程式的文件。

• 在 Fab 上取得
• 產品網站
• 下載示範版 (Windows)
• 教學影片
• 外掛程式支援與客製化開發：[email protected]（為團隊與組織量身打造的解決方案）

Join our Discord

online · support

📄️概覽

在 Unreal Engine 中使用 llama.cpp 完全在設備端運行大型語言模型。支援 GGUF 模型的離線推理、token 串流，以及跨 Windows、Mac、Linux、Android、iOS 和 Meta Quest 的完整 Blueprint 和 C++ API 支援。

📄️在編輯器中管理模型

直接在 Unreal Engine 編輯器中，透過 Runtime Local LLM 外掛設定面板，即可瀏覽、下載、匯入、刪除及測試 LLM 模型。

📄️如何使用此插件

Runtime Local LLM 外掛程式的完整執行時期 API 參考，涵蓋 LLM 實例建立、模型載入、訊息傳送、下載、狀態管理、模型庫函式及公用程式。

📄️範例

Runtime Local LLM 外掛程式的即用型 Blueprint 與 C++ 範例，包含簡易聊天、下載後聊天、模型預先下載以及 NPC 對話系統。

📄️推論參數

所有 LLM 推論參數的詳細參考，包括溫度（temperature）、top-p、top-k、重複懲罰（repeat penalty）、GPU 層卸載（GPU layer offloading）、上下文大小（context size）、種子（seed）和執行緒數量（thread count），並針對行動裝置、VR 和桌面平台提供特定建議。

📄️疑難排解

Runtime Local LLM 外掛程式常見問題疑難排解

📄️示範專案

一個立即可用的示範專案，專為 Runtime Local LLM 插件設計，具備串流回應的聊天介面、透過網址下載模型，以及可設定的推論參數。