Chuyển tới nội dung chính

Quản lý mô hình trong trình biên tập

Plugin cung cấp một bảng cài đặt bên trong trình biên tập Unreal Engine, nơi bạn có thể duyệt, tải xuống, nhập, xóa và kiểm tra các mô hình LLM.

Truy cập Cài đặt Plugin​

  1. Mở Edit → Project Settings
  2. Điều hướng đến Plugins → Runtime Local LLM

Bảng cài đặt có hai phần chính:

  • Downloaded Models: Các mô hình hiện có trên đĩa và sẵn sàng sử dụng
  • Available Models: Các mô hình được xác định trước từ danh mục tích hợp sẵn mà bạn có thể tải xuống

Tải xuống Mô hình​

  1. Trong phần Available Models, tìm họ mô hình và biến thể bạn muốn
  2. Nhấp vào nút Download bên cạnh biến thể đó
  3. Một thanh tiến trình hiển thị trạng thái tải xuống
  4. Khi hoàn tất, mô hình sẽ chuyển sang phần Downloaded Models

Bạn có thể tải xuống nhiều mô hình cùng lúc. Để hủy quá trình tải xuống đang diễn ra, nhấp vào nút Cancel bên cạnh nó.

Để xóa bất kỳ mô hình đã tải xuống nào, nhấp vào nút Delete bên cạnh mô hình bạn muốn xóa.

Tất cả các mô hình đã tải xuống sẽ được đóng gói cùng với dự án của bạn, vì vậy để giảm kích thước dự án, hãy xóa bất kỳ mô hình nào bạn không còn cần nữa.

Chọn Mô hình

Đối với các nền tảng di động/VR, hãy bắt đầu với một mô hình nhỏ (1B–3B tham số) ở mức lượng tử hóa Q4_K_M. Đối với máy tính để bàn, các mô hình 7B ở Q4_K_M hoặc Q5_K_M mang lại sự cân bằng tốt giữa chất lượng và hiệu suất.

Nhập Mô hình Tùy chỉnh​

Bạn có thể nhập bất kỳ tệp GGUF nào từ hệ thống tệp cục bộ hoặc một URL:

  1. Nhấp vào nút Import Custom Model ở đầu bảng cài đặt
  2. Trong hộp thoại hiện ra, chọn một chế độ:
    • Import Local File: Duyệt tìm tệp .gguf trên đĩa
    • Download from URL: Nhập URL trực tiếp đến tệp .gguf
  3. Điền tên mô hình và mô tả tùy chọn / số lượng tham số
  4. Nhấp vào Confirm để nhập hoặc bắt đầu tải xuống

Khi nhập một tệp cục bộ, plugin sẽ sao chép tệp đó vào thư mục Content/RuntimeLocalLLM/Models và tạo một tệp siêu dữ liệu đi kèm. Khi nhập từ URL, plugin sẽ tải tệp trực tiếp vào thư mục đó.

Các mô hình tùy chỉnh được xử lý giống như các mô hình đã tải xuống và sẽ được đóng gói cùng với dự án của bạn.

Kiểm thử Mô hình trong Trình biên tập​

Plugin bao gồm một cửa sổ kiểm thử để kiểm tra suy luận nhanh mà không cần chạy trò chơi của bạn:

  1. Nhấp vào nút Kiểm thử LLM ở đầu bảng cài đặt
  2. Trong cửa sổ kiểm thử, chọn một mô hình từ danh sách thả xuống các mô hình có trên đĩa
  3. Cấu hình các tham số suy luận (nhiệt độ, token tối đa, lời nhắc hệ thống, v.v.)
  4. Nhập một lời nhắc và nhấp vào Gửi
  5. Xem luồng phản hồi trong thời gian thực
  6. Nhấp vào Dừng để hủy quá trình tạo, hoặc Xóa để đặt lại cuộc hội thoại

Điều này hữu ích để xác minh rằng một mô hình hoạt động chính xác trước khi tích hợp nó vào logic trò chơi của bạn.

Cài đặt Đóng gói​

Khi bạn tải xuống hoặc nhập một mô hình, plugin sẽ tự động cập nhật cấu hình đóng gói của dự án để bao gồm thư mục RuntimeLocalLLM/Models trong Thư mục Bổ sung Không phải Nội dung để Sao chép (DirectoriesToAlwaysStageAsNonUFS). Điều này đảm bảo tất cả các tệp mô hình được đưa vào bản dựng đã đóng gói của bạn. Bạn không cần phải cấu hình thủ công việc này.