Runtime Local LLM
Runtime Local LLM eklentisi için dokümantasyon.
- Fab'den alın
- Ürün web sitesi
- Demoyu İndir (Windows)
- Video eğitimi
- Eklenti Desteği ve Özel Geliştirme: [email protected] (ekiplere ve kuruluşlara özel çözümler)
Genel Bakış
Büyük dil modellerini tamamen cihaz üzerinde Unreal Engine içinde llama.cpp kullanarak çalıştırın. GGUF modelleriyle çevrimdışı çıkarım, token akışı ve Windows, Mac, Linux, Android, iOS ve Meta Quest genelinde tam Blueprint ve C++ API desteği.
Editörde modelleri yönetme
LLM modellerine doğrudan Unreal Engine düzenleyicisinde, Runtime Local LLM eklentisi ayarlar panelini kullanarak göz atın, indirin, içe aktarın, silin ve test edin.
Eklenti Nasıl Kullanılır
Runtime Local LLM eklentisi için eksiksiz çalışma zamanı API referansı; LLM örneği oluşturma, model yükleme, mesaj gönderme, indirme, durum yönetimi, model kütüphanesi işlevleri ve yardımcı araçları kapsar.
Örnekler
Runtime Local LLM eklentisi için kullanıma hazır Blueprint ve C++ örnekleri; basit sohbet, indir-ve-sohbet, model ön indirme ve NPC diyalog sistemleri dahil.
Çıkarım Parametreleri
LLM çıkarım parametrelerinin tümü için ayrıntılı referans; sıcaklık, top-p, top-k, tekrar cezası, GPU katmanı devretme, bağlam boyutu, tohum ve iş parçacığı sayısı dahil; mobil, VR ve masaüstü platformlarına özel önerilerle birlikte.
Sorun Giderme
Runtime Speech Recognizer eklentisiyle ilgili yaygın sorunları giderme.
Demo projesi
Runtime Local LLM eklentisi için, akış yanıtları, URL üzerinden model indirme ve yapılandırılabilir çıkarım parametreleri içeren bir sohbet arayüzüne sahip kullanıma hazır bir demo projesi.