Runtime Local LLM
Dokumentation für das Runtime Local LLM-Plugin.
- Get it on Fab
- Produktwebsite
- Demo herunterladen (Windows)
- Video-Tutorial
- Plugin-Support & individuelle Entwicklung: [email protected] (maßgeschneiderte Lösungen für Teams & Organisationen)
Übersicht
Führen Sie große Sprachmodelle vollständig auf dem Gerät in Unreal Engine mit llama.cpp aus. Offline-Inferenz mit GGUF-Modellen, Token-Streaming und vollständige Blueprint- und C++-API-Unterstützung unter Windows, Mac, Linux, Android, iOS und Meta Quest.
Modelle im Editor verwalten
Durchsuchen, herunterladen, importieren, löschen und testen Sie LLM-Modelle direkt im Unreal Engine-Editor über das Einstellungsfenster des Runtime Local LLM-Plugins.
So verwenden Sie das Plugin
Vollständige Laufzeit-API-Referenz für das Runtime Local LLM Plugin, die LLM-Instanzerstellung, Modellladen, Nachrichtensenden, Herunterladen, Zustandsverwaltung, Modellbibliotheksfunktionen und Hilfsprogramme abdeckt.
Beispiele
Gebrauchsfertige Blueprint- und C++-Beispiele für das Runtime Local LLM-Plugin, darunter einfacher Chat, Herunterladen und Chatten, Vorab-Download von Modellen sowie NPC-Dialogsysteme.
Inferenzparameter
Ausführliche Referenz für alle LLM-Inferenzparameter, einschließlich Temperatur, Top-p, Top-k, Wiederholungsstrafe, GPU-Layer-Auslagerung, Kontextgröße, Seed und Thread-Anzahl, mit plattformspezifischen Empfehlungen für Mobilgeräte, VR und Desktop.
Fehlerbehebung
Fehlerbehebung bei häufigen Problemen mit dem Runtime Local LLM Plugin.
Demoprojekt
Ein gebrauchsfertiges Demoprojekt für das Runtime Local LLM-Plugin mit einer Chat-Oberfläche für Streaming-Antworten, Modell-Download über URL und konfigurierbaren Inferenzparametern.