メインコンテンツまでスキップ

エディターでのモデル管理

このプラグインは、Unreal Engineエディター内に設定パネルを提供し、LLMモデルの参照、ダウンロード、インポート、削除、テストを行うことができます。

プラグイン設定へのアクセス​

  1. 編集 → プロジェクト設定を開く
  2. プラグイン → Runtime Local LLMに移動する

設定パネルには、主に2つのセクションがあります。

  • ダウンロード済みモデル: 現在ディスク上にあり、すぐに使用できるモデル
  • 利用可能なモデル: ダウンロード可能な内蔵カタログの事前定義モデル

モデルのダウンロード​

  1. 利用可能なモデルセクションで、希望するモデルファミリーとバリアントを見つけてください
  2. バリアントの横にあるダウンロードボタンをクリックします
  3. 進行状況バーにダウンロードの状態が表示されます
  4. 完了すると、モデルはダウンロード済みモデルセクションに移動します

複数のモデルを同時にダウンロードできます。進行中のダウンロードをキャンセルするには、その横にあるキャンセルボタンをクリックしてください。

ダウンロードしたモデルを削除するには、削除したいモデルの横にある削除ボタンをクリックしてください。

ダウンロードしたすべてのモデルはプロジェクトに同梱されるため、プロジェクトサイズを削減するには、不要になったモデルを削除してください。

モデルの選択

モバイル/VRプラットフォームでは、Q4_K_M量子化の小規模モデル（1B～3Bパラメータ）から始めてください。デスクトップでは、Q4_K_MまたはQ5_K_M量子化の7Bモデルが品質とパフォーマンスのバランスに優れています。

カスタムモデルのインポート​

ローカルファイルシステムまたはURLから任意のGGUFファイルをインポートできます。

  1. 設定パネルの上部にある カスタムモデルをインポート ボタンをクリックします
  2. 表示されるダイアログで、モードを選択します：
    • ローカルファイルをインポート: ディスク上の .gguf ファイルを参照します
    • URLからダウンロード: .gguf ファイルへの直接URLを入力します
  3. モデル名とオプションの説明/パラメータ数を入力してください
  4. 確認をクリックしてインポートするか、ダウンロードを開始します

ローカルファイルをインポートする際、プラグインはそれを Content/RuntimeLocalLLM/Models ディレクトリにコピーし、メタデータのサイドカーファイルを作成します。URLからインポートする場合は、プラグインはファイルをそのディレクトリに直接ダウンロードします。

カスタムモデルはダウンロードしたモデルと同様に扱われ、プロジェクトと共にパッケージ化されます。

エディターでモデルをテストする​

このプラグインには、ゲームを実行せずに素早く推論テストを行うためのテストウィンドウが含まれています。

  1. 設定パネルの上部にある Test LLM ボタンをクリックします
  2. テストウィンドウで、ディスク上のモデルのドロップダウンからモデルを選択します
  3. 推論パラメータ（温度、最大トークン数、システムプロンプトなど）を設定します
  4. プロンプトを入力し、Send をクリックします
  5. 応答のストリームをリアルタイムで確認します
  6. Stop をクリックして生成をキャンセルするか、Clear をクリックして会話をリセットします

これは、モデルをゲームロジックに統合する前に、正しく動作することを確認するのに役立ちます。

パッケージング設定​

プラグインは、モデルをダウンロードまたはインポートすると、プロジェクトのパッケージング設定を自動的に更新し、RuntimeLocalLLM/Models ディレクトリを 追加の非アセットディレクトリのコピー先（DirectoriesToAlwaysStageAsNonUFS）に含めます。これにより、すべてのモデルファイルがパッケージ化されたビルドに同梱されます。手動で設定する必要はありません。