Runtime Local LLM
Runtime Local LLM プラグインのドキュメントです。
- Fab で入手する
- 製品ウェブサイト
- デモをダウンロード (Windows)
- ビデオチュートリアル
- プラグインサポート & カスタム開発: [email protected] (チームや組織向けのテーラードソリューション)
概要
llama.cpp を使用して Unreal Engine 上で大規模言語モデルを完全にオンデバイス実行します。GGUF モデル、トークンストリーミング、完全な Blueprint および C++ API サポートによるオフライン推論が、Windows、Mac、Linux、Android、iOS、Meta Quest に対応します。
エディターでのモデル管理
Runtime Local LLMプラグインの設定パネルを使用して、Unreal Engineエディタ内で直接LLMモデルを参照、ダウンロード、インポート、削除、テストします。
プラグインの使用方法
Runtime Local LLMプラグインの完全なランタイムAPIリファレンス。LLMインスタンスの作成、モデルの読み込み、メッセージ送信、ダウンロード、状態管理、モデルライブラリ機能、ユーティリティをカバー。
例
Runtime Local LLMプラグイン向けのすぐに使えるBlueprintおよびC++の例。シンプルなチャット、ダウンロード＆チャット、モデルの事前ダウンロード、NPC対話システムを含みます。
推論パラメータ
温度、トップp、トップk、繰り返しペナルティ、GPUレイヤーオフロード、コンテキストサイズ、シード、スレッド数を含むすべてのLLM推論パラメータの詳細なリファレンス。モバイル、VR、デスクトップ向けのプラットフォーム固有の推奨事項付き。
トラブルシューティング
Runtime Speech Recognizerプラグインのよくある問題のトラブルシューティング
デモプロジェクト
Runtime Local LLMプラグインのための、すぐに使えるデモプロジェクトで、ストリーミング応答、URL経由のモデルダウンロード、設定可能な推論パラメータを備えたチャットインターフェースを特徴としています。