Projekt demonstracyjny

W folderze Demo w katalogu Content wtyczki znajdziesz zasoby stworzone do celów demonstracyjnych.

Jeśli nie widzisz katalogu wtyczki, otwórz Content Browser, kliknij przycisk Settings w prawym górnym rogu i włącz opcje Show Engine Content oraz Show Plugin Content. Projekt demonstracyjny powinien znajdować się w katalogu Engine → Plugins → Runtime Local LLM Content.

Te zasoby są udostępniane w celu zademonstrowania implementacji wnioskowania LLM na urządzeniu. Demo obejmuje:

• Interfejs czatu, w którym można wysyłać wiadomości i otrzymywać odpowiedzi strumieniowe token po tokenie z LLM
• Wstępnie pobrane modele gotowe do użycia bez dodatkowej konfiguracji
• Możliwość pobierania dodatkowych modeli poprzez URL w czasie działania
• Menu ustawień do konfiguracji parametrów wnioskowania (temperatura, maksymalna liczba tokenów, rozmiar kontekstu itp.)

Demo zostało zaimplementowane przy użyciu Blueprints i widgetów UMG dla prostoty. Obsługuje UE 4.27 i nowsze wersje.

Aby przetestować demo, otwórz poziom RLLM_Demo znajdujący się w folderze Demo i uruchom go w edytorze. Spowoduje to wyświetlenie widgetów czatu LLM na ekranie, z którymi możesz wchodzić w interakcję. Możesz również spakować projekt na swoje urządzenie docelowe. Aby ustawić poziom RLLM_Demo jako domyślny w spakowanym projekcie, przejdź do ustawień projektu i ustaw RLLM_Demo jako Game Default Map.