Runtime Local LLM
Runtime Local LLM eklentisi için dokümantasyon.
- Get it on Fab
- Ürün web sitesi
- Demo'yu İndir (Windows)
- Video eğitimi
- Eklenti Desteği ve Özel Geliştirme: [email protected] (ekipler ve kuruluşlar için özelleştirilmiş çözümler)
Genel Bakış
Unreal Engine'de llama.cpp kullanarak büyük dil modellerini tamamen cihaz üzerinde çalıştırın. GGUF modelleriyle çevrimdışı çıkarım, token akışı ve Windows, Mac, Linux, Android, iOS ile Meta Quest üzerinde tam Blueprint ve C++ API desteği.
Editörde modelleri yönetme
Runtime Local LLM eklentisi ayarlar panelini kullanarak Unreal Engine düzenleyicisinde doğrudan LLM modellerine göz atın, indirin, içe aktarın, silin ve test edin.
Eklentinin nasıl kullanılacağı
Runtime Local LLM eklentisi için, LLM örneği oluşturma, model yükleme, mesaj gönderme, indirme, durum yönetimi, model kütüphanesi işlevleri ve yardımcı araçları kapsayan eksiksiz runtime API referansı.
Örnekler
Runtime Local LLM eklentisi için basit sohbet, indir ve sohbet et, model önceden indirme ve NPC diyalog sistemleri dahil olmak üzere kullanıma hazır Blueprint ve C++ örnekleri.
Çıkarım parametreleri
Tüm LLM çıkarım parametreleri için ayrıntılı referans, sıcaklık (temperature), top-p, top-k, tekrar cezası (repeat penalty), GPU katman boşaltma (GPU layer offloading), bağlam boyutu (context size), tohum (seed) ve iş parçacığı sayısı (thread count) ile mobil, VR ve masaüstü için platforma özel öneriler.
Sorun Giderme
Runtime Local LLM eklentisiyle ilgili yaygın sorunları giderme.
Demo projesi
Runtime Local LLM eklentisi için, akış yanıtlı sohbet arayüzü, URL üzerinden model indirme ve yapılandırılabilir çıkarım parametreleri sunan, kullanıma hazır bir demo projesi.