Runtime Local LLM
Runtime Local LLM 插件的文檔。
- 在 Fab 上獲取
- 產品網站
- 下載示範 (Windows)
- 影片教學
- 插件支援與客製開發:[email protected](為團隊與組織提供的量身解決方案)
Join our Discord
online · support
概述
在 Unreal Engine 中完全在设备端运行大型语言模型,使用 llama.cpp。支持 GGUF 模型的离线推理、Token 流式传输,以及完整的蓝图和 C++ API,覆盖 Windows、Mac、Linux、Android、iOS 和 Meta Quest 平台。
在編輯器中管理模型
在 Unreal Engine 編輯器中,直接使用 Runtime Local LLM 外掛設定面板來瀏覽、下載、匯入、刪除和測試 LLM 模型。
如何使用插件
完整的執行階段 API 參考文件,涵蓋 Runtime Local LLM 插件的 LLM 實例建立、模型載入、訊息傳送、下載、狀態管理、模型庫函數和工具程式。
範例
針對 Runtime Local LLM 外掛程式提供可直接使用的 Blueprint 與 C++ 範例,包含簡易對話、下載後對話、模型預先下載以及 NPC 對話系統。
推論參數
所有LLM推理参数的详细参考,包括温度、top-p、top-k、重复惩罚、GPU层卸载、上下文大小、种子和线程数,以及针对移动端、VR和桌面端的平台特定建议。
疑難排解
Runtime Local LLM 外掛程式的常見問題疑難排解
示範專案
一個即開即用的示範專案,專為 Runtime Local LLM 外掛程式設計,具備串流回應的聊天介面、透過網址下載模型,以及可設定的推論參數。