Dự án demo

Trong thư mục Demo bên trong thư mục Content của plugin, bạn sẽ tìm thấy các tài sản được tạo ra cho mục đích trình diễn.

Nếu bạn không thấy thư mục plugin, hãy mở Content Browser, nhấp vào nút Settings ở góc trên bên phải, và bật Show Engine Content và Show Plugin Content. Dự án demo sẽ nằm trong thư mục Engine → Plugins → Runtime Local LLM Content.

Các tài sản này được cung cấp để trình diễn cách triển khai suy luận LLM trên thiết bị. Bản demo bao gồm:

• Giao diện trò chuyện nơi bạn có thể gửi tin nhắn và nhận phản hồi streaming từng token từ LLM
• Các mô hình đã được tải sẵn sẵn sàng sử dụng ngay
• Khả năng tải thêm các mô hình khác qua URL trong thời gian chạy
• Menu cài đặt để cấu hình các tham số suy luận (nhiệt độ, số token tối đa, kích thước ngữ cảnh, v.v.)

Bản demo được triển khai bằng Blueprints và widget UMG để đơn giản hóa. Nó hỗ trợ UE 4.27 và các phiên bản mới hơn.

Để kiểm tra bản demo, hãy mở level RLLM_Demo nằm trong thư mục Demo và chạy nó trong trình biên tập. Điều này sẽ hiển thị các widget trò chuyện LLM trên màn hình của bạn, cho phép bạn tương tác. Bạn cũng có thể đóng gói dự án cho thiết bị mục tiêu của mình. Để đặt level RLLM_Demo làm mặc định trong dự án đã đóng gói, hãy vào cài đặt dự án và đặt RLLM_Demo làm Game Default Map.