Demoprojekt

Im Demo-Ordner im Content-Verzeichnis des Plugins finden Sie Assets, die zu Demonstrationszwecken erstellt wurden.

Falls Sie das Plugin-Verzeichnis nicht sehen können, öffnen Sie den Content Browser, klicken Sie auf die Einstellungen-Schaltfläche in der oberen rechten Ecke und aktivieren Sie Engine-Inhalte anzeigen und Plugin-Inhalte anzeigen. Das Demoprojekt sollte sich im Verzeichnis Engine → Plugins → Runtime Local LLM Content befinden.

Diese Assets werden bereitgestellt, um die Implementierung der LLM-Inferenz auf dem Gerät zu demonstrieren. Die Demo umfasst:

• Eine Chat-Oberfläche, in der Sie Nachrichten senden und tokenweise Streaming-Antworten vom LLM empfangen können
• Vorab heruntergeladene Modelle, die sofort einsatzbereit sind
• Die Möglichkeit, zusätzliche Modelle zur Laufzeit über eine URL herunterzuladen
• Ein Einstellungsmenü zur Konfiguration der Inferenzparameter (Temperatur, maximale Token, Kontextgröße usw.)

Das Demo wurde aus Gründen der Einfachheit mit Blueprints und UMG-Widgets implementiert. Es unterstützt UE 4.27 und neuere Versionen.

Um das Demo zu testen, öffnen Sie den Level RLLM_Demo im Ordner Demo und führen Sie ihn im Editor aus. Daraufhin werden die LLM-Chat-Widgets auf Ihrem Bildschirm angezeigt, mit denen Sie interagieren können. Sie können das Projekt auch für Ihr Zielgerät paketieren. Um den Level RLLM_Demo als Standard in Ihrem paketierten Projekt festzulegen, gehen Sie zu den Projekteinstellungen und setzen Sie RLLM_Demo als Standardkarte für das Spiel.