セットアップガイド

このガイドでは、MetaHuman キャラクターを使用した Runtime MetaHuman Lip Sync の基本的なセットアップ手順を説明します。

注意: Runtime MetaHuman Lip Sync は MetaHuman と カスタムキャラクター の両方で動作します。カスタムキャラクターの設定に関する詳細な手順については、カスタムキャラクター設定ガイド を参照してください。

前提条件

開始する前に、以下を確認してください:

1. MetaHuman プラグインがプロジェクトで有効になっていること (注意: UE 5.6 以降では、MetaHuman 機能がエンジンに直接統合されているため、この手順は不要です)
2. 少なくとも 1 つの MetaHuman キャラクターがダウンロードされ、プロジェクトで利用可能であること
3. Runtime MetaHuman Lip Sync プラグインがインストールされていること

標準モデル拡張プラグイン

標準モデル を使用する予定がある場合は、拡張プラグインをインストールする必要があります:

1. Google Drive から Standard Lip Sync Extension plugin をダウンロードします
2. ダウンロードしたアーカイブからフォルダを抽出し、プロジェクトの Plugins フォルダに配置します (このフォルダが存在しない場合は作成してください)
3. プロジェクトが C++ プロジェクト として設定されていることを確認します (C++ コードがなくても)
4. プロジェクトをリビルドします

注記

• この拡張は 標準モデル を使用したい場合にのみ必要です。リアリスティックモデル のみが必要な場合は、この手順をスキップできます。
• プラグインを手動でビルドする方法の詳細については、プラグインビルドチュートリアル を参照してください

追加プラグイン

• オーディオキャプチャ (例: マイク入力) を使用する予定がある場合は、Runtime Audio Importer プラグインをインストールしてください。
• テキスト読み上げ 機能を使用する予定がある場合:
  • ローカル TTS (標準モデルのみ) の場合は、Runtime Text To Speech プラグインをインストールしてください。
  • 外部 TTS プロバイダー (ElevenLabs, OpenAI) の場合は、Runtime AI Chatbot Integrator プラグインをインストールしてください。

アニメーションブループリントの設定

ステップ 1: 顔アニメーションのブループリントを特定して変更する

UE 5.5 以前 (または UE 5.6+ でのレガシー MetaHumans)

MetaHuman キャラクターの顔アニメーションに使用されるアニメーションブループリントを変更する必要があります。デフォルトの MetaHuman 顔アニメーションブループリントは以下の場所にあります:

Content/MetaHumans/Common/Face/Face_AnimBP

Lip Sync機能を実装するにはいくつかの選択肢があります：

デフォルトアセットを編集（最も簡単なオプション）

デフォルトのFace_AnimBPを直接開き、変更を加えます。変更はこのAnimation Blueprintを使用するすべてのMetaHumanキャラクターに影響します。

注意： このアプローチは便利ですが、デフォルトのAnimation Blueprintを使用するすべてのキャラクターに影響を与えます。

複製を作成

1. Face_AnimBPを複製し、わかりやすい名前を付けます
2. キャラクターのBlueprintクラスを探します（例：キャラクター「Bryan」の場合、Content/MetaHumans/Bryan/BP_Bryanにあります）
3. キャラクターのBlueprintを開き、Faceコンポーネントを見つけます
4. Anim Classプロパティを新しく複製したAnimation Blueprintに変更します

注意： このアプローチでは、特定のキャラクター向けにLip Syncをカスタマイズしながら、他のキャラクターは変更しないままにすることができます。

カスタムAnimation Blueprintを使用

必要な顔のボーンにアクセスできる任意のAnimation BlueprintでLip Syncのブレンドを実装できます：

1. カスタムAnimation Blueprintを作成するか、既存のものを使用します
2. あなたのAnimation Blueprintが、デフォルトのMetaHumanのFace_Archetype_Skeletonと同じ顔のボーンを含むスケルトンで動作することを確認します

注意： このアプローチは、カスタムアニメーションシステムとの統合において最大限の柔軟性を提供します。

UE 5.6+ MetaHuman Creatorキャラクター

UE 5.6以降、新しいMetaHuman Creatorシステムが導入されました。これらのキャラクターの場合、プラグインは以下の場所に顔のAnimation Blueprintを提供します：

Content/LipSyncData/LipSync_Face_AnimBP

重要

この Animation Blueprint はプラグインのコンテンツフォルダに配置されており、プラグインの更新ごとに上書きされます。カスタマイズ内容を失わないようにするには：

1. このアセットをプロジェクトの Content フォルダにコピーしてください（例: YourProject/Content/MetaHumans/LipSync_Face_AnimBP）
2. キャラクター設定でコピーしたバージョンを使用してください
3. コピーしたバージョンに対してすべての変更を加えてください

プラグインの Face Animation Blueprint を使用する:

1. MetaHuman Creator キャラクターの Blueprint クラスを特定します
2. キャラクター Blueprint を開き、Face コンポーネントを見つけます
3. Anim Class プロパティをプラグインの LipSync_Face_AnimBP に変更します
4. Runtime MetaHuman Lip Sync 機能を設定する次のステップに進みます

ステップ 2: イベントグラフの設定

Face Animation Blueprint を開き、Event Graph に切り替えます。オーディオデータを処理してリップシンクアニメーションを生成するジェネレーターを作成する必要があります。

Standard Model

1. まだ存在しない場合は Event Blueprint Begin Play ノードを追加します
2. Create Runtime Viseme Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例: "VisemeGenerator"）として保存し、グラフの他の部分で使用できるようにします

詳細な設定オプションについては、Standard Model Configuration セクションを参照してください。

Realistic Model

1. まだ存在しない場合は Event Blueprint Begin Play ノードを追加します
2. Create Realistic MetaHuman Lip Sync Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例: "RealisticMetaHumanLipSyncGenerator"）として保存し、グラフの他の部分で使用できるようにします
4. （オプション）Configuration パラメータを使用してジェネレーター設定を構成します

モデルタイプ、パフォーマンス設定、処理パラメータを含む詳細な設定オプションについては、Realistic Model Configuration セクションを参照してください。

Mood-Enabled Realistic Model

1. まだ存在しない場合は Event Blueprint Begin Play ノードを追加します
2. Create Realistic MetaHuman Lip Sync With Mood Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例: "MoodMetaHumanLipSyncGenerator"）として保存し、グラフの他の部分で使用できるようにします
4. （オプション）Configuration パラメータを使用してジェネレーター設定を構成します

ムード設定の詳細については、以下を含む mood タイプ、強度設定、先読みタイミング、出力タイプ選択については、Mood-Enabled Model Configuration セクションを参照してください。

ステップ 3: Anim Graph のセットアップ

Event Graph の設定後、Anim Graph に切り替えて、ジェネレーターをキャラクターのアニメーションに接続します：

Standard Model

1. MetaHuman の顔を含むポーズを探します（通常は Use cached pose 'Body Pose' から）
2. Blend Runtime MetaHuman Lip Sync ノードを追加します
3. ポーズを Blend Runtime MetaHuman Lip Sync ノードの Source Pose に接続します
4. あなたの VisemeGenerator 変数を Viseme Generator ピンに接続します
5. Blend Runtime MetaHuman Lip Sync ノードの出力を Output Pose の Result ピンに接続します

Realistic Model

1. MetaHuman の顔を含むポーズを探します（通常は Use cached pose 'Body Pose' から）
2. Blend Realistic MetaHuman Lip Sync ノードを追加します
3. ポーズを Blend Realistic MetaHuman Lip Sync ノードの Source Pose に接続します
4. あなたの RealisticMetaHumanLipSyncGenerator 変数を Lip Sync Generator ピンに接続します
5. Blend Realistic MetaHuman Lip Sync ノードの出力を Output Pose の Result ピンに接続します

Mood-Enabled Realistic Model

1. MetaHuman の顔を含むポーズを探します（通常は Use cached pose 'Body Pose' から）
2. Blend Realistic MetaHuman Lip Sync ノードを追加します（通常のリアリスティックモデルと同じノード）
3. ポーズを Blend Realistic MetaHuman Lip Sync ノードの Source Pose に接続します
4. あなたの MoodMetaHumanLipSyncGenerator 変数を Lip Sync Generator ピンに接続します
5. Blend Realistic MetaHuman Lip Sync ノードの出力を Output Pose の Result ピンに接続します

注記： mood 対応モデルは、通常のリアリスティックモデルと同じ Animation Blueprint ノードを使用します。mood 機能はジェネレーターによって内部的に処理されます。

次のステップ

基本的な Animation Blueprint のセットアップが完了したので、音声データをリップシンクジェネレーターに供給するためのオーディオ入力処理を設定する必要があります。

マイクキャプチャ、テキスト読み上げ、オーディオファイル処理など、さまざまなオーディオ入力方法を設定する方法については、Audio Processing Guide に進んでください。 高度な設定オプションと微調整については、設定ガイドを参照してください。