Zum Hauptinhalt springen

Modelle im Editor verwalten

Das Plugin bietet ein Einstellungsfenster im Unreal Engine-Editor, in dem Sie LLM-Modelle durchsuchen, herunterladen, importieren, löschen und testen können.

Zugriff auf die Plugin-Einstellungen​

  1. Öffnen Sie Bearbeiten → Projekteinstellungen
  2. Navigieren Sie zu Plugins → Runtime Local LLM

Das Einstellungsfenster besteht aus zwei Hauptbereichen:

  • Heruntergeladene Modelle: Modelle, die derzeit auf der Festplatte gespeichert und einsatzbereit sind
  • Verfügbare Modelle: Vordefinierte Modelle aus dem integrierten Katalog, die Sie herunterladen können

Modelle herunterladen​

  1. Suchen Sie im Abschnitt Verfügbare Modelle die gewünschte Modellfamilie und Variante
  2. Klicken Sie auf die Schaltfläche Herunterladen neben der Variante
  3. Eine Fortschrittsleiste zeigt den Status des Downloads an
  4. Sobald der Download abgeschlossen ist, wird das Modell in den Bereich Heruntergeladene Modelle verschoben

Sie können mehrere Modelle gleichzeitig herunterladen. Um einen laufenden Download abzubrechen, klicken Sie auf die Schaltfläche Abbrechen daneben.

Um heruntergeladene Modelle zu löschen, klicken Sie auf die Schaltfläche Löschen neben dem zu entfernenden Modell.

Alle heruntergeladenen Modelle werden mit Ihrem Projekt gepackt. Um die Projektgröße zu reduzieren, löschen Sie alle Modelle, die Sie nicht mehr benötigen.

Modell auswählen

Für mobile-/VR-Plattformen beginnen Sie mit einem kleinen Modell (1B–3B Parameter) mit Q4_K_M-Quantisierung. Für Desktop bieten 7B-Modelle mit Q4_K_M oder Q5_K_M eine gute Balance aus Qualität und Leistung.

Importieren benutzerdefinierter Modelle​

Sie können jede GGUF-Datei aus Ihrem lokalen Dateisystem oder von einer URL importieren:

  1. Klicken Sie auf die Schaltfläche Import Custom Model oben im Einstellungsfenster
  2. Wählen Sie im daraufhin erscheinenden Dialog einen Modus:
    • Import Local File: Durchsuchen Sie nach einer .gguf-Datei auf der Festplatte
    • Download from URL: Geben Sie eine direkte URL zu einer .gguf-Datei ein
  3. Geben Sie den Modellnamen und optional die Beschreibung / Parameteranzahl ein
  4. Klicken Sie auf Confirm, um zu importieren oder den Download zu starten

Wenn Sie eine lokale Datei importieren, kopiert das Plugin sie in das Verzeichnis Content/RuntimeLocalLLM/Models und erstellt eine Metadaten-Seitendatei. Beim Import von einer URL lädt das Plugin die Datei direkt in dieses Verzeichnis herunter.

Benutzerdefinierte Modelle werden genauso behandelt wie heruntergeladene Modelle und werden mit Ihrem Projekt gepackt.

Testen von Modellen im Editor​

Das Plugin enthält ein Testfenster für schnelle Inferenztests, ohne Ihr Spiel ausführen zu müssen:

  1. Klicken Sie auf die Schaltfläche Test LLM oben im Einstellungsbereich
  2. Wählen Sie im Testfenster ein Modell aus der Dropdown-Liste der auf der Festplatte vorhandenen Modelle aus
  3. Konfigurieren Sie die Inferenzparameter (Temperatur, maximale Tokens, System-Prompt usw.)
  4. Geben Sie einen Prompt ein und klicken Sie auf Send
  5. Sehen Sie zu, wie die Antwort in Echtzeit gestreamt wird
  6. Klicken Sie auf Stop, um die Generierung abzubrechen, oder auf Clear, um die Konversation zurückzusetzen

Dies ist nützlich, um zu überprüfen, ob ein Modell korrekt funktioniert, bevor Sie es in Ihre Spiellogik integrieren.

Paketierungseinstellungen​

Wenn Sie ein Modell herunterladen oder importieren, aktualisiert das Plugin automatisch die Paketierungskonfiguration Ihres Projekts, um das Verzeichnis RuntimeLocalLLM/Models in Additional Non-Asset Directories To Copy (DirectoriesToAlwaysStageAsNonUFS) einzubinden. Dadurch wird sichergestellt, dass alle Modelldateien mit Ihrem gepackten Build ausgeliefert werden. Sie müssen dies nicht manuell konfigurieren.