Runtime Local LLM
Runtime Local LLM 插件的文档。
- 从 Fab 获取
- 产品网站
- 下载演示（Windows）
- 视频教程
- 插件支持与定制开发：[email protected]（为团队和组织量身定制的解决方案）
Join our Discord
online · support
概述
在设备端完全运行大型语言模型，通过llama.cpp在Unreal Engine中。使用GGUF模型进行离线推理，令牌流式传输，以及跨Windows、Mac、Linux、Android、iOS和Meta Quest的完整Blueprint和C++ API支持。
managing-models-in-the-editor
使用 Runtime Local LLM 插件设置面板，可以直接在 Unreal Engine 编辑器中浏览、下载、导入、删除和测试 LLM 模型。
如何使用该插件
Runtime Local LLM 插件的完整运行时 API 参考，涵盖 LLM 实例创建、模型加载、消息发送、下载、状态管理、模型库功能以及实用工具。
示例
开箱即用的 Blueprint 和 C++ 示例，用于 Runtime Local LLM 插件，包括简单聊天、下载并聊天、模型预下载和 NPC 对话系统。
推理参数
大语言模型推理参数的详细参考，包括 temperature、top-p、top-k、重复惩罚、GPU 层卸载、上下文大小、随机种子和线程数，并提供针对移动、VR 和桌面的平台特定建议。
troubleshooting
排查 Runtime Speech Recognizer 插件的常见问题。
Demo 项目
一个即用型的演示项目，适用于 Runtime Local LLM 插件，具有带流式响应的聊天界面、通过 URL 下载模型以及可配置的推理参数。