Runtime Local LLM
Tài liệu cho plugin Runtime Local LLM.
- Get it on Fab
- Trang web sản phẩm
- Tải bản demo (Windows)
- Hướng dẫn bằng video
- Hỗ trợ Plugin & Phát triển tùy chỉnh: [email protected] (giải pháp phù hợp cho nhóm & tổ chức)
Tổng quan
Chạy các mô hình ngôn ngữ lớn hoàn toàn trên thiết bị trong Unreal Engine bằng llama.cpp. Suy luận ngoại tuyến với các mô hình GGUF, phát trực tiếp token, và hỗ trợ đầy đủ API Blueprint và C++ trên Windows, Mac, Linux, Android, iOS và Meta Quest.
Quản lý các mô hình trong trình chỉnh sửa
Duyệt, tải xuống, nhập, xóa và kiểm tra các mô hình LLM trực tiếp trong trình chỉnh sửa Unreal Engine bằng bảng cài đặt plugin Runtime Local LLM.
Cách sử dụng plugin
Tài liệu tham khảo API runtime hoàn chỉnh cho plugin Runtime Local LLM, bao gồm tạo phiên bản LLM, tải mô hình, gửi tin nhắn, tải xuống, quản lý trạng thái, các hàm thư viện mô hình và tiện ích.
Ví dụ
Các ví dụ Blueprint và C++ sẵn sàng sử dụng cho plugin Runtime Local LLM bao gồm chat đơn giản, tải xuống và chat, tải trước mô hình, và hệ thống hội thoại NPC.
Tham số suy luận
Tài liệu tham khảo chi tiết về tất cả các tham số suy luận LLM bao gồm temperature, top-p, top-k, repeat penalty, GPU layer offloading, context size, seed và thread count, kèm theo các khuyến nghị dành riêng cho từng nền tảng, mobile, VR và desktop.
Khắc phục sự cố
Xử lý sự cố thường gặp với plugin Runtime Local LLM.
Dự án demo
Một dự án demo sẵn sàng sử dụng cho plugin Runtime Local LLM, bao gồm giao diện trò chuyện với phản hồi trực tuyến, tải xuống mô hình qua URL và các tham số suy luận có thể cấu hình.