Przejdź do głównej zawartości

Zarządzanie modelami w edytorze

Wtyczka udostępnia panel ustawień w edytorze Unreal Engine, w którym można przeglądać, pobierać, importować, usuwać i testować modele LLM.

Dostęp do ustawień wtyczki​

  1. Otwórz Edit → Project Settings
  2. Przejdź do Plugins → Runtime Local LLM

Panel ustawień ma dwie główne sekcje:

  • Pobrane modele: Modele znajdujące się obecnie na dysku i gotowe do użycia
  • Dostępne modele: Wstępnie zdefiniowane modele z wbudowanego katalogu, które można pobrać

Pobieranie modeli​

  1. W sekcji Dostępne modele znajdź rodzinę modeli i wariant, którego potrzebujesz
  2. Kliknij przycisk Download obok wariantu
  3. Pasek postępu pokazuje stan pobierania
  4. Po zakończeniu model zostaje przeniesiony do sekcji Pobrane modele

Możesz pobierać wiele modeli jednocześnie. Aby anulować pobieranie w toku, kliknij obok niego przycisk Cancel.

Aby usunąć dowolne pobrane modele, kliknij przycisk Delete obok modelu, który chcesz usunąć.

Wszystkie pobrane modele zostaną spakowane wraz z projektem, dlatego aby zmniejszyć rozmiar projektu, usuń modele, których już nie potrzebujesz.

Wybór modelu

W przypadku platform mobilnych/VR zacznij od małego modelu (1B–3B parametrów) z kwantyzacją Q4_K_M. Dla komputerów stacjonarnych modele 7B z Q4_K_M lub Q5_K_M oferują dobrą równowagę między jakością a wydajnością.

Importowanie niestandardowych modeli​

Możesz zaimportować dowolny plik GGUF z lokalnego systemu plików lub z adresu URL:

  1. Kliknij przycisk Importuj niestandardowy model na górze panelu ustawień
  2. W oknie dialogowym wybierz tryb:
    • Importuj plik lokalny: Przeglądaj w poszukiwaniu pliku .gguf na dysku
    • Pobierz z URL: Wpisz bezpośredni URL do pliku .gguf
  3. Wprowadź nazwę modelu i opcjonalny opis / liczbę parametrów
  4. Kliknij Potwierdź, aby zaimportować lub rozpocząć pobieranie

Podczas importowania lokalnego pliku, wtyczka kopiuje go do katalogu Content/RuntimeLocalLLM/Models i tworzy plik metadanych sidecar. Podczas importowania z adresu URL, wtyczka pobiera plik bezpośrednio do tego katalogu.

Modele niestandardowe są traktowane tak samo jak modele pobrane i zostaną spakowane razem z Twoim projektem.

Testowanie modeli w Edytorze​

Wtyczka zawiera okno testowe umożliwiające szybkie testowanie wnioskowania bez uruchamiania gry:

  1. Kliknij przycisk Test LLM na górze panelu ustawień
  2. W oknie testowym wybierz model z listy rozwijanej modeli na dysku
  3. Skonfiguruj parametry wnioskowania (temperatura, maksymalna liczba tokenów, prompt systemowy, itp.)
  4. Wprowadź prompt i kliknij Send
  5. Obserwuj strumień odpowiedzi w czasie rzeczywistym
  6. Kliknij Stop, aby anulować generowanie, lub Clear, aby zresetować konwersację

To jest przydatne do sprawdzenia, czy model działa poprawnie przed zintegrowaniem go z logiką swojej gry.

Ustawienia pakowania​

Po pobraniu lub zaimportowaniu modelu, wtyczka automatycznie aktualizuje konfigurację pakowania Twojego projektu, aby dołączyć katalog RuntimeLocalLLM/Models w Additional Non-Asset Directories To Copy (DirectoriesToAlwaysStageAsNonUFS). Dzięki temu wszystkie pliki modelu zostaną dołączone do Twojej spakowanej wersji. Nie musisz konfigurować tego ręcznie.