Dự án demo

Trong thư mục Demo nằm trong thư mục Content của plugin, bạn sẽ tìm thấy các tài sản được tạo ra nhằm mục đích trình diễn.

Nếu bạn không thấy thư mục plugin, hãy mở Content Browser, nhấp vào nút Settings ở góc trên bên phải, và bật Show Engine Content cùng Show Plugin Content. Dự án demo sẽ nằm trong thư mục Engine → Plugins → Runtime Local LLM Content.

Các tài sản này được cung cấp để minh họa cách triển khai suy luận LLM trên thiết bị. Bản demo bao gồm:

• Giao diện trò chuyện nơi bạn có thể gửi tin nhắn và nhận phản hồi từng token một từ LLM
• Các mô hình đã được tải sẵn sẵn sàng sử dụng ngay
• Khả năng tải thêm các mô hình khác qua URL trong thời gian chạy
• Menu cài đặt để cấu hình các tham số suy luận (nhiệt độ, số token tối đa, kích thước ngữ cảnh, v.v.)

Bản demo được triển khai bằng Blueprints và widget UMG để đơn giản hóa. Nó hỗ trợ UE 4.27 và các phiên bản mới hơn.

Để kiểm tra bản demo, hãy mở level RLLM_Demo nằm trong thư mục Demo và chạy nó trong trình biên tập. Thao tác này sẽ hiển thị các widget trò chuyện LLM trên màn hình của bạn để bạn có thể tương tác. Bạn cũng có thể đóng gói dự án cho thiết bị mục tiêu của mình. Để đặt level RLLM_Demo làm mặc định trong dự án đã đóng gói của bạn, hãy vào cài đặt dự án và đặt RLLM_Demo làm Game Default Map.