メインコンテンツまでスキップ

デモプロジェクト

Runtime MetaHuman Lip Sync をすぐに使い始められるように、2 つのすぐに使えるデモプロジェクトが用意されています。どちらも Unreal Engine 5.6 で構築されており (UE 5.7 以降でもサポートされています)、Blueprint のみで作られ、Windows、Mac、Linux、iOS、Android、および Android ベースのプラットフォーム (Meta Quest を含む) でクロスプラットフォーム動作します。

利用可能なデモプロジェクト​

音声認識、AI チャットボット (LLM)、テキスト読み上げ、リアルタイムリップシンクによる音声再生を組み合わせた 完全な AI NPC 会話ワークフロー です。これらすべてが 1 つのプロジェクト内で動作します。

パイプライン概要​

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

注目の動画​

ダウンロード​

必須 & オプション プラグイン​

このデモプロジェクトはモジュール式です - 使用したいプロバイダーのプラグインのみが必要です。

プラグイン目的必須?
Runtime MetaHuman Lip Syncリップシンクアニメーション✅ 常に
Runtime Audio Importer音声キャプチャ & 処理✅ 常に
Runtime Speech Recognizerオフライン音声認識 (whisper.cpp)✅ 常に
Runtime AI Chatbot Integrator外部LLM (OpenAI、Claude、DeepSeek、Gemini、Grok、Ollama) および/または 外部TTS (OpenAI、ElevenLabs)🔶 オプション*
Runtime Local LLMローカルLLM推論 (llama.cpp経由、Llama、Mistral、GemmaなどのGGUFモデル)🔶 オプション*
Runtime Text To SpeechローカルTTS (PiperおよびKokoro経由)🔶 オプション*

* 少なくとも一つのLLMプロバイダーと少なくとも一つのTTSプロバイダーが必要です。自由に組み合わせて使用できます (例: ローカルLLM + ElevenLabs TTS、またはOpenAI LLM + ローカルTTS)。

モジュラーアーキテクチャ​

このデモプロジェクトは完全にモジュール式です。Contentフォルダ内に、3つのサブフォルダを含む**Modules**フォルダがあります:

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

もし1つ（または複数）のオプションプラグインを入手しなかった場合は、対応するフォルダーを削除してください。デモプロジェクトの基本アセット（ゲームインスタンス、ウィジェットなど）はこれらのモジュールを直接参照していないため、削除してもアセット参照エラーは発生しません。設定UIは、フォルダーが存在しないプロバイダーを自動的に非表示にします。

注記

このモジュール性はLLMおよびTTSプロバイダーにのみ適用されます。Speech Recognition（Runtime Speech Recognizer）とLip Sync（Runtime MetaHuman Lip Sync）は基本デモプロジェクトの一部であり、常に必要です。

モジュールフォルダー構造

警告

初回起動時に、Unrealが不足しているオプションプラグインを無効にするかどうかを尋ねることがあります。はいをクリックしてください。また、対応するContent/Modules/フォルダーも削除したことを確認してください（上記参照）。

デモプロジェクトのレイアウト​

UIはデモンストレーション用です

以下に示すユーザーインターフェースは、完全にUMG（Unreal Motion Graphics）で構築されており、パイプライン（音声認識→LLM→TTS→リップシンク）をデモンストレーションすることのみを目的としています。ゲームのビジュアルデザイン、コントロールスキーム、またはプラットフォーム（VR/AR、モバイル、コンソールなど）に合わせて、自由にスタイルを変更したり、置き換えたりできます。特定のウィジェットがユースケースで不要な場合は、非表示にすることもできます（例：可視性を折りたたみまたは非表示に設定）。

デモプロジェクトのメイン画面の注釈付き概要

エリア内容
中央MetaHumanキャラクター。
左側4つの設定ボタン（音声認識、AIチャットボット、テキスト読み上げ、アニメーション）。詳細は後述します。
中央下部録音開始ボタン。クリックすると音声会話を開始できます：マイクがキャプチャされ、文字起こしされ、LLMに送信され、応答がTTSで合成され、リップシンク付きで完全ハンズフリーで再生されます。
右中央会話履歴ウィジェット。あなたとAIの間の完全なやり取り（ユーザーとアシスタントの両方のメッセージ）を表示します。テキスト入力フィールドも含まれているため、音声認識を使わずに直接メッセージを入力できます。テスト、アクセシビリティ、またはマイクが利用できない場合に便利です。
ヒント

同じセッションで両方の入力モードを自由に混在させることができます。一部のメッセージを音声で、他のメッセージをテキストで入力できます。

設定ボタン​

左側の4つの設定ボタンは、パイプラインの各部分に対応する専用パネルを開きます：

1. 音声認識の設定​

ユーザーの音声のキャプチャと文字起こし方法を設定します：

  • 言語を選択
  • 音声認識パラメータの調整（Whisperモデル設定）
  • AEC（音響エコーキャンセレーション）の設定
  • VAD（音声アクティビティ検出）の設定

音声認識設定画面

2. AIチャットボットの設定​

LLMプロバイダーを選択し、設定します：

  • プロバイダーの選択（Runtime AI Chatbot IntegratorまたはRuntime Local LLM）
  • 外部プロバイダーの場合：認証トークン、モデル名など
  • ローカルLLMの場合：GGUFモデルの選択、コンテキストサイズおよびその他の推論パラメータの設定。ランタイムで独自のGGUFモデルをダウンロード（例：URL経由）して、プロジェクトを再ビルドせずにすぐに使用することもできます。
ヒント

プロバイダーコンボボックスには、プラグインモジュールフォルダーがContent/Modules/に存在するプロバイダーのみが表示されます。

AIチャットボット設定 - Runtime AI Chatbot Integrator（外部LLM）

AIチャットボット設定 - Runtime Local LLM（ローカルGGUF）

3. テキスト読み上げの設定​

TTSプロバイダーを選択し、音声/モデルを設定します：

  • プロバイダーの選択（OpenAI/ElevenLabs用のRuntime AI Chatbot Integrator、またはローカルのPiper/Kokoro用のRuntime Text To Speech）
  • 音声/モデルの選択
  • プロバイダー固有のパラメータの調整

TTS設定 - Runtime AI Chatbot Integrator（外部TTS）

TTS設定 - Runtime Local Text To Speech（ローカルPiper/Kokoro）

4. アニメーションの設定​

AI NPCのビジュアルを制御します：

  • 3つの事前ダウンロードされたMetaHumanキャラクター（Aera、Ada、Orlando）から選択
  • リップシンクモデルの選択（StandardまたはRealistic）
  • リップシンクモデルタイプの選択 - Highly Optimized、Semi-Optimized、またはOriginal（モデルタイプを参照）
  • 処理チャンクサイズの調整 - リップシンク推論の実行頻度を制御（処理チャンクサイズを参照）
  • 会話中にMetaHumanで再生するアイドルアニメーションの選択

アニメーション設定画面

エディターでのデモの事前設定​

ソースバージョンで作業する場合、実行ごとに値を再入力する必要がないように、エディターで直接デフォルト値を事前に入力できます：

対象場所
一般設定（リップシンクモデル、アイドルアニメーション、キャラクタークラス、音声認識など）Content/LipSyncSTSGameInstance
外部LLM / 外部TTS設定（Runtime AI Chatbot Integrator）Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
ローカルLLM設定（Runtime Local LLM）Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
ローカルTTS設定（Runtime Text To Speech）Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

クロスプラットフォームに関する注意​

デモで使用されるすべてのプラグインはWindows、Mac、Linux、iOS、Android、およびAndroidベースのプラットフォーム（Meta Questを含む）をサポートしているため、デモプロジェクトもこれらすべてで動作します。

性能の低いデバイス（モバイル、スタンドアロンVR）では、以下のことを検討してください：

  • Realisticの代わりにStandardリップシンクモデルを使用する - モデルの比較を参照
  • Highly Optimizedモデルタイプに切り替える
  • CPU負荷を減らすために処理チャンクサイズを増やす
  • より小さなLLM / TTSモデルを選択する

Android、iOS、Mac、Linuxでの追加設定手順については、プラットフォーム固有の設定を参照してください。

独自のMetaHumanの持ち込み​

デモプロジェクトには3つのサンプルMetaHumanキャラクター（Aera、Ada、Orlando）が同梱されていますが、独自のMetaHumanをインポートしてデモで使用できます。

📺 ビデオチュートリアル: デモプロジェクトへのカスタムMetaHumanキャラクターの追加

注記

Runtime MetaHuman Lip Syncプラグイン自体は、MetaHuman以外にも多くのキャラクターシステムをサポートしています（ARKitベースのキャラクター、Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMeなど）。詳細はカスタムキャラクター設定ガイドを参照してください。

Standard Lip Sync Modelに関する注意​

いずれかのデモプロジェクトでStandard Model（Realisticの代わりに）を使用する予定がある場合は、Standard Lip Sync Extensionプラグインをインストールする必要があります。インストール手順については、Standard Model Extensionを参照してください。

ヘルプが必要ですか？​

デモプロジェクトのセットアップや実行で問題が発生した場合は、お気軽にお問い合わせください：

Join our Discord
online · support

カスタム開発のご依頼（例：独自のロジックでデモを拡張したり、特定のプラットフォームやキャラクターパイプラインに適応させるなど）については、[email protected] までご連絡ください。