Runtime Local LLM
Tài liệu cho plugin Runtime Local LLM.
- Mua trên Fab
- Trang web sản phẩm
- Tải xuống bản Demo (Windows)
- Video hướng dẫn
- Hỗ trợ Plugin & Phát triển tùy chỉnh: [email protected] (giải pháp phù hợp cho nhóm & tổ chức)
Tổng quan
Chạy các mô hình ngôn ngữ lớn hoàn toàn trên thiết bị trong Unreal Engine bằng llama.cpp. Suy luận ngoại tuyến với các mô hình GGUF, phát trực tiếp token, và hỗ trợ đầy đủ API Blueprint và C++ trên Windows, Mac, Linux, Android, iOS và Meta Quest.
Quản lý mô hình trong trình biên tập
Duyệt, tải xuống, nhập, xóa và kiểm tra các mô hình LLM trực tiếp trong trình chỉnh sửa Unreal Engine bằng bảng cài đặt plugin Runtime Local LLM.
Cách sử dụng plugin
Tài liệu tham khảo API runtime hoàn chỉnh cho plugin Runtime Local LLM bao gồm tạo phiên bản LLM, tải mô hình, gửi tin nhắn, tải xuống, quản lý trạng thái, các hàm thư viện mô hình và tiện ích.
Ví dụ
Các ví dụ Blueprint và C++ sẵn sàng sử dụng cho plugin Runtime Local LLM bao gồm chat đơn giản, tải xuống và chat, tải trước mô hình, và hệ thống hội thoại NPC.
Tham số suy luận
Tài liệu tham khảo chi tiết cho tất cả các tham số suy luận LLM bao gồm temperature, top-p, top-k, repeat penalty, GPU layer offloading, context size, seed, và thread count, kèm theo các khuyến nghị dành riêng cho từng nền tảng như mobile, VR và desktop.
Khắc phục sự cố
Khắc phục sự cố phổ biến với plugin Runtime Local LLM.
Dự án demo
Một dự án demo sẵn sàng sử dụng cho plugin Runtime Local LLM, bao gồm giao diện trò chuyện với phản hồi streaming, tải xuống mô hình qua URL và các tham số suy luận có thể cấu hình.