Chuyển tới nội dung chính

Quản lý các mô hình trong trình chỉnh sửa

Plugin cung cấp một bảng cài đặt bên trong trình biên tập Unreal Engine, nơi bạn có thể duyệt, tải xuống, nhập, xóa và kiểm tra các mô hình LLM.

Truy cập Cài đặt Plugin​

  1. Mở Chỉnh sửa → Cài đặt Dự án
  2. Điều hướng đến Plugin → Runtime Local LLM

Bảng cài đặt có hai phần chính:

  • Mô hình đã tải xuống: Các mô hình hiện có trên ổ đĩa và sẵn sàng sử dụng
  • Mô hình khả dụng: Các mô hình được xác định trước từ danh mục tích hợp sẵn mà bạn có thể tải xuống

Đang tải xuống các mô hình​

  1. Trong phần Mô hình có sẵn, tìm dòng họ mô hình và biến thể bạn muốn
  2. Nhấp vào nút Tải xuống bên cạnh biến thể
  3. Một thanh tiến trình hiển thị trạng thái tải xuống
  4. Khi hoàn tất, mô hình sẽ chuyển sang phần Mô hình đã tải xuống

Bạn có thể tải xuống nhiều mô hình cùng lúc. Để hủy một quá trình tải đang diễn ra, hãy nhấp vào nút Hủy bên cạnh nó.

Để xóa bất kỳ mô hình nào đã tải xuống, hãy nhấp vào nút Xóa bên cạnh mô hình bạn muốn loại bỏ.

Tất cả các mô hình đã tải xuống sẽ được đóng gói cùng với dự án của bạn, vì vậy để giảm kích thước dự án, hãy xóa bất kỳ mô hình nào bạn không còn cần đến.

Chọn một Mô hình

Đối với các nền tảng di động/VR, hãy bắt đầu với mô hình nhỏ (1B–3B tham số) ở mức lượng tử hóa Q4_K_M. Đối với máy tính để bàn, các mô hình 7B ở mức Q4_K_M hoặc Q5_K_M mang lại sự cân bằng tốt giữa chất lượng và hiệu suất.

Nhập Mô Hình Tùy Chỉnh​

Bạn có thể nhập bất kỳ tệp GGUF nào từ hệ thống tệp cục bộ hoặc từ một URL:

  1. Nhấp vào nút Import Custom Model ở đầu bảng cài đặt
  2. Trong hộp thoại hiện ra, hãy chọn một chế độ:
    • Nhập tệp cục bộ: Duyệt tìm tệp .gguf trên ổ đĩa
    • Tải xuống từ URL: Nhập URL trực tiếp đến tệp .gguf
  3. Điền tên mô hình và mô tả tùy chọn / số lượng tham số
  4. Nhấp vào Xác nhận để nhập hoặc bắt đầu tải xuống

Khi nhập tệp cục bộ, plugin sẽ sao chép tệp đó vào thư mục Content/RuntimeLocalLLM/Models và tạo một tệp siêu dữ liệu đi kèm. Khi nhập từ URL, plugin sẽ tải tệp trực tiếp vào thư mục đó.

Các mô hình tùy chỉnh được xử lý giống như các mô hình đã tải xuống và sẽ được đóng gói cùng với dự án của bạn.

Kiểm tra Models trong Editor​

Plugin bao gồm một cửa sổ kiểm tra để thử nghiệm suy luận nhanh mà không cần chạy game của bạn.

  1. Nhấp vào nút Test LLM ở đầu bảng cài đặt
  2. Trong cửa sổ kiểm tra, chọn một mô hình từ danh sách thả xuống các mô hình có sẵn trên ổ đĩa
  3. Cấu hình các tham số suy luận (nhiệt độ, số token tối đa, lời nhắc hệ thống, v.v.)
  4. Nhập một lời nhắc và nhấp vào Send
  5. Xem luồng phản hồi theo thời gian thực
  6. Nhấp vào Stop để hủy quá trình sinh, hoặc Clear để đặt lại cuộc hội thoại

Điều này hữu ích để xác minh rằng một mô hình hoạt động chính xác trước khi tích hợp nó vào logic trò chơi của bạn.

Cài đặt Đóng gói​

Khi bạn tải xuống hoặc nhập một mô hình, plugin sẽ tự động cập nhật cấu hình đóng gói của dự án để bao gồm thư mục RuntimeLocalLLM/Models trong Các Thư Mục Không Phải Nội Dung Bổ Sung Cần Sao Chép (DirectoriesToAlwaysStageAsNonUFS). Điều này đảm bảo tất cả các tệp mô hình được đóng gói cùng với bản dựng của bạn. Bạn không cần phải cấu hình thủ công việc này.