Ana içeriğe geç

Editörde modelleri yönetme

Plugin, Unreal Engine editörü içinde LLM modellerine göz atabileceğiniz, indirebileceğiniz, içe aktarabileceğiniz, silebileceğiniz ve test edebileceğiniz bir ayarlar paneli sunar.

Eklenti Ayarlarına Erişme​

  1. Edit → Project Settings'i açın
  2. Plugins → Runtime Local LLM'ye gidin

Ayarlar paneli iki ana bölümden oluşur:

  • İndirilen Modeller: Şu anda diskte bulunan ve kullanıma hazır modeller
  • Mevcut Modeller: İndirebileceğiniz, yerleşik katalogdan önceden tanımlanmış modeller

Model İndirme​

  1. Mevcut Modeller bölümünde istediğiniz model ailesini ve varyantını bulun
  2. Varyantın yanındaki Download düğmesine tıklayın
  3. Bir ilerleme çubuğu indirme durumunu gösterir
  4. Tamamlandığında, model İndirilen Modeller bölümüne taşınır

Birden fazla modeli aynı anda indirebilirsiniz. Devam eden bir indirmeyi iptal etmek için yanındaki Cancel düğmesine tıklayın.

İndirilen herhangi bir modeli silmek için, kaldırmak istediğiniz modelin yanındaki Delete düğmesine tıklayın.

İndirilen tüm modeller projenizle birlikte paketlenecektir, bu nedenle proje boyutunu azaltmak için artık ihtiyacınız olmayan modelleri silin.

Model Seçimi

Mobil/VR platformları için, Q4_K_M niceleme ile küçük bir modelle (1B–3B parametre) başlayın. Masaüstü için, Q4_K_M veya Q5_K_M nicelemede 7B modeller, kalite ve performans açısından iyi bir denge sunar.

Özel Modelleri İçe Aktarma​

Herhangi bir GGUF dosyasını yerel dosya sisteminizden veya bir URL'den içe aktarabilirsiniz:

  1. Ayarlar panelinin üst kısmındaki Import Custom Model düğmesine tıklayın
  2. Açılan iletişim kutusunda bir mod seçin:
    • Import Local File: Diskte bir .gguf dosyasına göz atın
    • Download from URL: .gguf dosyasına doğrudan bir URL girin
  3. Model adını ve isteğe bağlı açıklamayı / parametre sayısını girin
  4. İçe aktarmak veya indirmeyi başlatmak için Confirm düğmesine tıklayın

Yerel bir dosyayı içe aktarırken, eklenti onu Content/RuntimeLocalLLM/Models dizinine kopyalar ve bir metadata yan dosyası oluşturur. URL'den içe aktarırken, eklenti dosyayı doğrudan o dizine indirir.

Özel modeller, indirilen modellerle aynı şekilde ele alınır ve projenizle birlikte paketlenir.

Editörde Modelleri Test Etme​

Eklenti, oyununuzu çalıştırmadan hızlı çıkarım testi yapmak için bir test penceresi içerir:

  1. Ayarlar panelinin üst kısmındaki Test LLM düğmesine tıklayın
  2. Test penceresinde, diskteki modellerin açılır listesinden bir model seçin
  3. Çıkarım parametrelerini yapılandırın (sıcaklık, maksimum token, sistem istemi, vb.)
  4. Bir istem girin ve Send düğmesine tıklayın
  5. Yanıt akışını gerçek zamanlı olarak izleyin
  6. Oluşturmayı iptal etmek için Stop seçeneğine tıklayın veya konuşmayı sıfırlamak için Clear seçeneğine tıklayın

Bu, oyun mantığınıza entegre etmeden önce bir modelin doğru çalıştığını doğrulamak için kullanışlıdır.

Paketleme Ayarları​

Bir model indirdiğinizde veya içe aktardığınızda, eklenti projenizin paketleme yapılandırmasını otomatik olarak güncelleyerek RuntimeLocalLLM/Models dizinini Additional Non-Asset Directories To Copy (DirectoriesToAlwaysStageAsNonUFS) içine ekler. Bu, tüm model dosyalarının paketlenmiş yapınızla birlikte gönderilmesini sağlar. Bunu manuel olarak yapılandırmanız gerekmez.