Runtime Local LLM
Dokumentation für das Runtime Local LLM Plugin.
- Auf Fab ansehen
- Produktwebseite
- Demo herunterladen (Windows)
- Video-Tutorial
- Plugin-Support & individuelle Entwicklung: [email protected] (maßgeschneiderte Lösungen für Teams & Organisationen)
Übersicht
Führen Sie große Sprachmodelle vollständig geräteintern in Unreal Engine mit llama.cpp aus. Offline-Inferenz mit GGUF-Modellen, Token-Streaming und vollständiger Blueprint- und C++-API-Unterstützung auf Windows, Mac, Linux, Android, iOS und Meta Quest.
Modelle im Editor verwalten
Durchsuchen, Herunterladen, Importieren, Löschen und Testen von LLM-Modellen direkt im Unreal Engine-Editor über das Einstellungsfeld des Runtime Local LLM-Plugins.
Wie man das Plugin verwendet
Vollständige Laufzeit-API-Referenz für das Runtime Local LLM plugin, die LLM-Instanzerstellung, Modellladung, Nachrichtenversand, Herunterladen, Zustandsverwaltung, Modellbibliotheksfunktionen und Dienstprogramme abdeckt.
Beispiele
Einsatzbereite Blueprint- und C++-Beispiele für das Runtime Local LLM Plugin, einschließlich einfachem Chat, Download-und-Chat, Modell-Vorabdownload und NPC-Dialogsystemen.
Inferenzparameter
Detaillierte Referenz für alle LLM-Inferenzparameter, einschließlich Temperatur, Top-p, Top-k, Wiederholungsstrafe, GPU-Layer-Offloading, Kontextgröße, Seed und Thread-Anzahl, mit plattformspezifischen Empfehlungen für Mobilgeräte, VR und Desktop.
troubleshooting
Fehlerbehebung bei häufigen Problemen mit dem Runtime Speech Recognizer-Plugin.
Demo-Projekt
Ein gebrauchsfertiges Demo-Projekt für das Runtime Local LLM-Plugin mit einer Chat-Oberfläche mit gestreamten Antworten, Herunterladen von Modellen über URL und konfigurierbaren Inferenzparametern.