Runtime Local LLM
Dokumentacja dla wtyczki Runtime Local LLM.
- Pobierz na Fab
- Strona produktu
- Pobierz wersję demonstracyjną (Windows)
- Samouczek wideo
- Wsparcie dla wtyczki i rozwój na zamówienie: [email protected] (dostosowane rozwiązania dla zespołów i organizacji)
Omówienie
Uruchamiaj duże modele językowe całkowicie na urządzeniu w silniku Unreal Engine przy użyciu llama.cpp. Wnioskowanie offline z modelami GGUF, strumieniowanie tokenów oraz pełne wsparcie API Blueprint i C++ na systemach Windows, Mac, Linux, Android, iOS i Meta Quest.
Zarządzanie modelami w edytorze
Przeglądaj, pobieraj, importuj, usuwaj i testuj modele LLM bezpośrednio w edytorze Unreal Engine za pomocą panelu ustawień wtyczki Runtime Local LLM.
Jak używać wtyczki
Kompletny opis API środowiska uruchomieniowego dla wtyczki Runtime Local LLM obejmujący tworzenie instancji LLM, ładowanie modelu, wysyłanie wiadomości, pobieranie, zarządzanie stanem, funkcje biblioteki modeli oraz narzędzia.
Przykłady
Gotowe do użycia przykłady Blueprint i C++ dla wtyczki Runtime Local LLM, w tym prosty czat, pobierz-i-czat, wstępne pobieranie modelu oraz systemy dialogów NPC.
Parametry inferencji
Szczegółowe informacje na temat wszystkich parametrów wnioskowania LLM, w tym temperatury, top-p, top-k, kary za powtarzalność, przenoszenia warstw na GPU, rozmiaru kontekstu, ziarna i liczby wątków, wraz z zaleceniami specyficznymi dla platform mobilnych, VR i komputerów stacjonarnych.
Rozwiązywanie problemów
Rozwiązywanie typowych problemów z wtyczką Runtime Speech Recognizer.
Projekt demonstracyjny
Gotowy do użycia projekt demonstracyjny dla wtyczki Runtime Local LLM z interfejsem czatu z odpowiedziami strumieniowanymi, pobieraniem modeli przez URL oraz konfigurowalnymi parametrami wnioskowania.