セットアップガイド

このガイドでは、Runtime MetaHuman Lip Sync を MetaHuman キャラクターで使用するための基本的なセットアップ手順を説明します。

注意: Runtime MetaHuman Lip Syncは、MetaHumanとカスタムキャラクターの両方で動作します。カスタムキャラクターの設定に関する詳細な手順については、カスタムキャラクター設定ガイドを参照してください。

前提条件

始める前に、以下を確認してください。

1. MetaHumanプラグインの要件:

   • UE 5.5以前: プロジェクトで MetaHuman プラグインを有効にします
   • UE 5.6以降: プロジェクトで MetaHuman Core Tech プラグインを有効にします
   追加のMetaHumanプラグイン

   MetaHumanキャラクターの作成方法によっては、追加のプラグインが必要になる場合があります。例えば、UE 5.6で導入された新しいMetaHuman Creatorシステムを使用してMetaHumanを作成する場合は、MetaHuman Creatorプラグインも有効にする必要があります。このシステムの詳細については、MetaHuman Creatorのドキュメントを参照してください。

2. プロジェクトに少なくとも1体のMetaHumanキャラクターがダウンロードされ、利用可能であること

3. Runtime MetaHuman Lip Syncプラグインがインストールされていること

標準モデル拡張プラグイン

Standard Model を使用する予定がある場合は、拡張プラグインをインストールする必要があります。

1. 標準リップシンク拡張プラグインをこちらからダウンロードします
2. ダウンロードしたアーカイブからフォルダを抽出し、プロジェクトのPluginsフォルダに配置します（このフォルダが存在しない場合は作成してください）
3. プロジェクトがC++プロジェクトとして設定されていることを確認します（C++コードがなくても構いません）
4. プロジェクトをリビルドします

注記

• この拡張機能は、Standard Modelを使用したい場合にのみ必要です。Realistic Modelsのみが必要な場合は、この手順をスキップできます。
• プラグインを手動でビルドする方法の詳細については、プラグインビルドチュートリアルを参照してください。

追加プラグイン

• 音声キャプチャ（例：マイク入力）を使用する予定がある場合は、Runtime Audio Importerプラグインをインストールしてください。
• テキスト読み上げ機能を使用する予定がある場合：
  • ローカルTTS（標準モデルおよびムード対応リアリスティックモデル）を使用するには、Runtime Text To Speechプラグインをインストールしてください。
  • 外部TTSプロバイダー（ElevenLabs、OpenAI、Google Cloud、Azure）を使用するには、Runtime AI Chatbot Integratorプラグインをインストールしてください。

アニメーションブループリントのセットアップ

ステップ 1：フェイスアニメーションBlueprintを見つけて修正する

UE 5.5以前（またはUE 5.6+のレガシーMetaHuman）

MetaHumanキャラクターのフェイシャルアニメーションに使用するアニメーションブループリントを修正する必要があります。デフォルトのMetaHumanフェイスアニメーションブループリントは次の場所にあります：

Content/MetaHumans/Common/Face/Face_AnimBP

リップシンク機能を実装するには、いくつかのオプションがあります。

デフォルトアセットの編集（最も簡単な方法）

デフォルトのFace_AnimBPを直接開いて、変更を加えてください。このアニメーションブループリントを使用するすべてのMetaHumanキャラクターに変更が適用されます。

注記: この方法は便利ですが、デフォルトのアニメーションブループリントを使用するすべてのキャラクターに影響を与えます。

重複を作成

1. Face_AnimBPを複製し、わかりやすい名前を付けます
2. キャラクターのブループリントクラスを見つけます（例：キャラクター「Bryan」の場合、Content/MetaHumans/Bryan/BP_Bryanにあります）
3. キャラクターブループリントを開き、Faceコンポーネントを見つけます
4. Anim Classプロパティを、新しく複製したアニメーションブループリントに変更します

注記: この方法により、特定のキャラクターのリップシンクをカスタマイズしつつ、他のキャラクターは変更せずに残すことができます。

カスタムアニメーションブループリントを使用する

必要なフェイシャルボーンにアクセスできる任意のアニメーションブループリントで、リップシンクのブレンドを実装できます。

1. カスタムアニメーションブループリントを作成するか、既存のものを使用する
2. アニメーションブループリントが、デフォルトのMetaHumanのFace_Archetype_Skeletonと同じフェイシャルボーンを含むスケルトンで動作することを確認する

注記: このアプローチにより、カスタムアニメーションシステムとの統合において最大限の柔軟性が得られます。

UE 5.6+ MetaHuman Creator キャラクター

UE 5.6以降、新しいMetaHuman Creatorシステムが導入されました。これらのキャラクターに対して、プラグインは以下の場所にフェースアニメーションブループリントを提供します：

Content/LipSyncData/LipSync_Face_AnimBP

重要

このアニメーションブループリントはプラグインのコンテンツフォルダにあり、プラグインが更新されるたびに上書きされます。カスタマイズ内容を失わないようにするには：

1. このアセットをプロジェクトのContentフォルダにコピーしてください（例：YourProject/Content/MetaHumans/LipSync_Face_AnimBP）
2. コピーしたバージョンをキャラクター設定で使用してください
3. すべての変更はコピーしたバージョンに対して行ってください

プラグインのフェイスアニメーションブループリントを使用する:

1. MetaHuman Creator キャラクターの Blueprint クラスを見つける
2. キャラクター Blueprint を開き、Face コンポーネントを見つける
3. Anim Class プロパティをプラグインの LipSync_Face_AnimBP に変更する
4. 次の手順に進み、Runtime MetaHuman Lip Sync 機能を設定する

ステップ2：イベントグラフのセットアップ

フェイスアニメーションブループリントを開き、イベントグラフに切り替えてください。オーディオデータを処理し、リップシンクアニメーションを生成するジェネレーターを作成する必要があります。

標準モデル

1. Event Blueprint Begin Play ノードがまだ存在しない場合は追加します
2. Create Runtime Viseme Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例：「VisemeGenerator」）として保存し、グラフの他の部分で使用できるようにします

詳細な設定オプションについては、標準モデル設定のセクションを参照してください。

リアリスティックモデル

1. Event Blueprint Begin Play ノードがまだ存在しない場合は追加します
2. Create Realistic MetaHuman Lip Sync Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例：「RealisticMetaHumanLipSyncGenerator」）として保存し、グラフの他の部分で使用できるようにします
4. （オプション）Configuration パラメータを使用してジェネレーターの設定を構成します

モデルの種類、パフォーマンス設定、処理パラメータなどの詳細な設定オプションについては、現実的なモデル設定のセクションを参照してください。

ムード対応リアリスティックモデル

1. Event Blueprint Begin Play ノードがまだ存在しない場合は追加します
2. Create Realistic MetaHuman Lip Sync With Mood Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例：「MoodMetaHumanLipSyncGenerator」）として保存し、グラフの他の部分で使用できるようにします
4. （オプション）Configuration パラメータを使用してジェネレーター設定を構成します

気分の種類、強度設定、先読みタイミング、出力タイプの選択を含む詳細な気分設定については、気分対応モデル設定セクションを参照してください。

ステップ3：アニメーショングラフの設定

イベントグラフの設定後、Anim Graphに切り替えて、ジェネレーターをキャラクターのアニメーションに接続します。

標準モデル

1. MetaHumanの顔を含むポーズを見つけます（通常は「キャッシュされたポーズ「Body Pose」を使用」から）
2. 「Blend Runtime MetaHuman Lip Sync」ノードを追加します
3. ポーズを「Blend Runtime MetaHuman Lip Sync」ノードの「Source Pose」に接続します
4. 「VisemeGenerator」変数を「Viseme Generator」ピンに接続します
5. 「Blend Runtime MetaHuman Lip Sync」ノードの出力を「Output Pose」の「Result」ピンに接続します

リアリスティックモデル

1. MetaHumanの顔を含むポーズを見つけます（通常は「キャッシュされたポーズ「Body Pose」を使用」から）
2. 「Blend Realistic MetaHuman Lip Sync」ノードを追加します
3. ポーズを「Blend Realistic MetaHuman Lip Sync」ノードの「Source Pose」に接続します
4. 「RealisticMetaHumanLipSyncGenerator」変数を「Lip Sync Generator」ピンに接続します
5. 「Blend Realistic MetaHuman Lip Sync」ノードの出力を「Output Pose」の「Result」ピンに接続します

ムード対応リアリスティックモデル

1. MetaHumanの顔を含むポーズを見つけます（通常は「キャッシュされたポーズ「Body Pose」を使用」から）
2. 「Blend Realistic MetaHuman Lip Sync」ノードを追加します（通常のリアリスティックモデルと同じノード）
3. ポーズを「Blend Realistic MetaHuman Lip Sync」ノードの「Source Pose」に接続します
4. 「MoodMetaHumanLipSyncGenerator」変数を「Lip Sync Generator」ピンに接続します
5. 「Blend Realistic MetaHuman Lip Sync」ノードの出力を「Output Pose」の「Result」ピンに接続します

注記: ムード対応モデルは、通常のリアリスティックモデルと同じアニメーションブループリントノードを使用します。ムード機能はジェネレーターによって内部的に処理されます。

次のステップ

基本的なアニメーションブループリントのセットアップが完了したので、リップシンクジェネレーターにオーディオデータを供給するためのオーディオ入力処理を設定する必要があります。

オーディオ処理ガイドに進み、マイクキャプチャ、テキスト読み上げ、オーディオファイル処理など、さまざまな音声入力方法の設定方法を学びましょう。

詳細な設定オプションや微調整については、設定ガイドを参照してください。