Runtime Local LLM
Runtime Local LLM プラグインのドキュメント
- Get it on Fab
- 製品ウェブサイト
- デモをダウンロード（Windows）
- ビデオチュートリアル
- プラグインサポート＆カスタム開発：[email protected]（チームや組織向けのカスタマイズソリューション）
概要
llama.cppを使用して、Unreal Engine内で大規模言語モデルを完全にデバイス上で実行します。GGUFモデルによるオフライン推論、トークンストリーミング、Windows、Mac、Linux、Android、iOS、Meta Quest全体での完全なBlueprintおよびC++ APIサポートを提供します。
エディターでのモデル管理
Runtime Local LLMプラグインの設定パネルを使用して、Unreal Engineエディター内で直接LLMモデルの参照、ダウンロード、インポート、削除、テストを行うことができます。
プラグインの使用方法
Runtime Local LLMプラグインの完全なランタイムAPIリファレンス。LLMインスタンスの作成、モデルのロード、メッセージ送信、ダウンロード、状態管理、モデルライブラリ関数、およびユーティリティを網羅しています。
例
Runtime Local LLMプラグイン用の、すぐに使えるBlueprintおよびC++のサンプルです。シンプルなチャット、ダウンロード＆チャット、モデルの事前ダウンロード、NPC対話システムなどを含みます。
推論パラメータ
すべてのLLM推論パラメータ（温度、top-p、top-k、繰り返しペナルティ、GPUレイヤーオフロード、コンテキストサイズ、シード、スレッド数）に関する詳細なリファレンスと、モバイル、VR、デスクトップ向けのプラットフォーム別推奨設定。
トラブルシューティング
Runtime Local LLMプラグインの一般的な問題のトラブルシューティング
デモプロジェクト
Runtime Local LLMプラグイン用のすぐに使えるデモプロジェクトです。ストリーミング応答を備えたチャットインターフェース、URL経由のモデルダウンロード、設定可能な推論パラメータを特徴としています。