Runtime Local LLM
Runtime Local LLM 插件文档。
- Get it on Fab
- 产品网站
- 下载演示版（Windows）
- 视频教程
- 插件支持与定制开发：[email protected]（为团队和组织提供量身定制的解决方案）
Join our Discord
online · support
概述
使用 llama.cpp 在虚幻引擎中完全在设备上运行大型语言模型。支持 GGUF 模型的离线推理、令牌流式传输，以及跨 Windows、Mac、Linux、Android、iOS 和 Meta Quest 的完整蓝图与 C++ API。
在编辑器中管理模型
使用运行时本地LLM插件设置面板，直接在虚幻引擎编辑器中浏览、下载、导入、删除和测试LLM模型。
如何使用该插件
Runtime Local LLM 插件的完整运行时 API 参考，涵盖 LLM 实例创建、模型加载、消息发送、下载、状态管理、模型库函数及实用工具。
示例
Runtime Local LLM 插件即用型蓝图与C++示例，涵盖简易聊天、下载即聊、模型预下载及NPC对话系统。
推理参数
所有LLM推理参数的详细参考，包括温度、top-p、top-k、重复惩罚、GPU层卸载、上下文大小、种子和线程数，并针对移动端、VR和桌面平台提供具体建议。
故障排除
Runtime Local LLM 插件常见问题故障排除。
演示项目
一个即开即用的演示项目，专为Runtime Local LLM插件设计，包含流式响应的聊天界面、通过URL下载模型以及可配置的推理参数。