メインコンテンツまでスキップ

エディターでのモデル管理

このプラグインは、Unreal Engine エディター内で LLM モデルを閲覧、ダウンロード、インポート、削除、テストできる設定パネルを提供します。

プラグイン設定へのアクセス​

  1. 編集 → プロジェクト設定 を開きます。
  2. プラグイン → Runtime Local LLM に移動します。

設定パネルには 2 つの主要なセクションがあります：

  • ダウンロード済みモデル：ディスク上にあり、すぐに使用できるモデル
  • 利用可能なモデル：ダウンロード可能な、内蔵カタログの事前定義モデル

モデルのダウンロード​

  1. 利用可能なモデル セクションで、目的のモデルファミリーとバリアントを見つけます。
  2. バリアントの横にある Download ボタンをクリックします。
  3. 進行状況バーがダウンロードの状態を示します。
  4. 完了すると、モデルは ダウンロード済みモデル セクションに移動します。

複数のモデルを同時にダウンロードできます。進行中のダウンロードをキャンセルするには、その横にある Cancel ボタンをクリックします。

ダウンロード済みのモデルを削除するには、削除したいモデルの横にある Delete ボタンをクリックします。

ダウンロードされたすべてのモデルはプロジェクトと一緒にパッケージ化されるため、プロジェクトサイズを抑えるには、不要になったモデルを削除してください。

モデルを選択する際のヒント

モバイル/VR プラットフォームでは、小さなモデル (1B～3B パラメータ) を Q4_K_M 量子化で使用することから始めてください。デスクトップの場合は、7B モデルを Q4_K_M または Q5_K_M で使用すると、品質とパフォーマンスのバランスが取れます。

カスタムモデルのインポート​

任意の GGUF ファイルをローカルファイルシステムまたは URL からインポートできます。

  1. 設定パネル上部の Import Custom Model ボタンをクリックします
  2. 表示されるダイアログでモードを選択します。
    • Import Local File: ディスク上の .gguf ファイルを参照します
    • Download from URL: .gguf ファイルへの直接の URL を入力します
  3. モデル名、および任意で説明 / パラメータ数を入力します
  4. Confirm をクリックしてインポートまたはダウンロードを開始します

ローカルファイルをインポートする場合、プラグインはそれを Content/RuntimeLocalLLM/Models ディレクトリにコピーし、メタデータサイドカーファイルを作成します。URL からインポートする場合、プラグインはそのファイルをそのディレクトリに直接ダウンロードします。

カスタムモデルはダウンロードされたモデルと同じように扱われ、プロジェクトと一緒にパッケージされます。

エディターでのモデルのテスト​

このプラグインには、ゲームを実行せずに素早く推論テストを行うためのテストウィンドウが含まれています：

  1. 設定パネルの上部にある Test LLM ボタンをクリックします
  2. テストウィンドウで、ディスク上のモデルのドロップダウンからモデルを選択します
  3. 推論パラメータ（温度、最大トークン数、システムプロンプトなど）を設定します
  4. プロンプトを入力し、Send をクリックします
  5. 応答がリアルタイムでストリーミングされるのを確認します
  6. Stop をクリックして生成をキャンセルするか、Clear をクリックして会話をリセットします

これは、モデルがゲームロジックに統合する前に正しく動作するかを確認するのに役立ちます。

パッケージング設定​

モデルをダウンロードまたはインポートすると、プラグインは自動的にプロジェクトのパッケージング設定を更新し、 RuntimeLocalLLM/Models ディレクトリを Additional Non-Asset Directories To Copy (DirectoriesToAlwaysStageAsNonUFS) に含めるようにします。 これにより、すべてのモデルファイルがパッケージビルドに同梱されます。 手動で設定する必要はありません。