Demo-Projekt

Im Demo-Ordner innerhalb des Content-Verzeichnisses des Plugins finden Sie Assets, die zu Demonstrationszwecken erstellt wurden.

Wenn Sie das Plugin-Verzeichnis nicht sehen können, öffnen Sie den Content Browser, klicken Sie auf die Schaltfläche Einstellungen in der oberen rechten Ecke und aktivieren Sie Engine-Inhalte anzeigen und Plugin-Inhalte anzeigen. Das Demoprojekt sollte sich im Verzeichnis Engine → Plugins → Runtime Local LLM Content befinden.

Diese Assets werden bereitgestellt, um die Implementierung der geräteinternen LLM-Inferenz zu demonstrieren. Die Demo umfasst:

• Eine Chat-Oberfläche, über die Sie Nachrichten senden und Token-für-Token-Streaming-Antworten vom LLM empfangen können
• Vorab heruntergeladene Modelle, die sofort einsatzbereit sind
• Die Möglichkeit, zusätzliche Modelle über eine URL zur Laufzeit herunterzuladen
• Ein Einstellungsmenü zur Konfiguration der Inferenzparameter (Temperatur, maximale Tokens, Kontextgröße usw.)

Die Demo ist zur Vereinfachung mit Blueprints und UMG Widgets implementiert. Es unterstützt UE 4.27 und neuere Versionen.

Um die Demo zu testen, öffnen Sie das Level RLLM_Demo im Demo-Ordner und führen Sie es im Editor aus. Dadurch werden die LLM-Chat-Widgets auf Ihrem Bildschirm angezeigt, mit denen Sie interagieren können. Sie können das Projekt auch für Ihr Zielgerät paketieren. Um das Level RLLM_Demo als Standard in Ihrem paketierten Projekt festzulegen, gehen Sie zu den Projekteinstellungen und legen Sie RLLM_Demo als Game Default Map fest.