Zum Hauptinhalt springen

Modelle im Editor verwalten

Das Plugin bietet ein Einstellungsfenster im Unreal Engine Editor, in dem Sie LLM-Modelle durchsuchen, herunterladen, importieren, löschen und testen können.

Auf die Plugin-Einstellungen zugreifen​

  1. Öffnen Sie Bearbeiten → Projekteinstellungen
  2. Navigieren Sie zu Plugins → Runtime Local LLM

Das Einstellungsfeld hat zwei Hauptbereiche:

  • Heruntergeladene Modelle: Modelle, die sich derzeit auf der Festplatte befinden und einsatzbereit sind
  • Verfügbare Modelle: Vordefinierte Modelle aus dem integrierten Katalog, die Sie herunterladen können

Modelle herunterladen​

  1. Suchen Sie im Abschnitt Verfügbare Modelle die gewünschte Modellfamilie und -variante
  2. Klicken Sie auf die Schaltfläche Herunterladen neben der Variante
  3. Ein Fortschrittsbalken zeigt den Download-Status an
  4. Sobald der Vorgang abgeschlossen ist, wird das Modell in den Abschnitt Heruntergeladene Modelle verschoben

Sie können mehrere Modelle gleichzeitig herunterladen. Um einen laufenden Download abzubrechen, klicken Sie auf die Schaltfläche Abbrechen daneben.

Um heruntergeladene Modelle zu löschen, klicken Sie auf die Schaltfläche Löschen neben dem Modell, das Sie entfernen möchten.

Alle heruntergeladenen Modelle werden mit Ihrem Projekt verpackt. Um die Projektgröße zu reduzieren, löschen Sie daher alle Modelle, die Sie nicht mehr benötigen.

Auswahl eines Modells

Verwenden Sie für mobile/VR-Plattformen zunächst ein kleines Modell (1B–3B Parameter) mit Q4_K_M-Quantisierung. Für Desktop-Rechner bieten 7B-Modelle mit Q4_K_M oder Q5_K_M eine gute Balance zwischen Qualität und Leistung.

Importieren benutzerdefinierter Modelle​

Sie können jede GGUF-Datei von Ihrem lokalen Dateisystem oder einer URL importieren:

  1. Klicken Sie auf die Schaltfläche Eigenes Modell importieren oben im Einstellungsfenster
  2. Wählen Sie im angezeigten Dialogfeld einen Modus aus:
    • Lokale Datei importieren: Durchsuchen Sie die Festplatte nach einer .gguf-Datei
    • Von URL herunterladen: Geben Sie eine direkte URL zu einer .gguf-Datei ein
  3. Geben Sie den Modellnamen und eine optionale Beschreibung / Parameteranzahl ein
  4. Klicken Sie auf Bestätigen, um den Import zu starten oder den Download zu beginnen

Beim Importieren einer lokalen Datei kopiert das Plugin diese in das Verzeichnis Content/RuntimeLocalLLM/Models und erstellt eine Metadaten-Begleitdatei. Beim Importieren über eine URL lädt das Plugin die Datei direkt in dieses Verzeichnis herunter.

Benutzerdefinierte Modelle werden genauso behandelt wie heruntergeladene Modelle und werden mit Ihrem Projekt verpackt.

Modelle im Editor testen​

Das Plugin enthält ein Testfenster für schnelle Inferenztests, ohne dass Sie Ihr Spiel ausführen müssen:

  1. Klicken Sie auf die Schaltfläche Test LLM oben im Einstellungsfenster
  2. Wählen Sie im Testfenster ein Modell aus der Dropdown-Liste der auf der Festplatte befindlichen Modelle aus
  3. Konfigurieren Sie Inferenzparameter (Temperatur, maximale Token, System-Prompt usw.)
  4. Geben Sie einen Prompt ein und klicken Sie auf Senden
  5. Beobachten Sie den Antwortstream in Echtzeit
  6. Klicken Sie auf Stopp, um die Generierung abzubrechen, oder auf Löschen, um die Unterhaltung zurückzusetzen

Dies ist nützlich, um zu überprüfen, ob ein Modell korrekt funktioniert, bevor es in Ihre Spiellogik integriert wird.

Verpackungseinstellungen​

Wenn Sie ein Modell herunterladen oder importieren, aktualisiert das Plugin automatisch die Verpackungskonfiguration Ihres Projekts, um das Verzeichnis RuntimeLocalLLM/Models in Zusätzliche Nicht-Asset-Verzeichnisse zum Kopieren (DirectoriesToAlwaysStageAsNonUFS) aufzunehmen. Dadurch wird sichergestellt, dass alle Modelldateien mit Ihrem verpackten Build ausgeliefert werden. Sie müssen dies nicht manuell konfigurieren.