セットアップガイド

このガイドでは、Runtime MetaHuman Lip Sync を MetaHuman キャラクターと共に使用するための基本的なセットアップ手順を説明します。

注意: Runtime MetaHuman Lip Sync は MetaHuman と カスタムキャラクター の両方で動作します。カスタムキャラクターの設定に関する詳細な手順については、カスタムキャラクターセットアップガイド を参照してください。

前提条件

開始する前に、以下を確認してください:

1. MetaHuman プラグインの要件:
   • UE 5.5 以前: プロジェクトで MetaHuman プラグインを有効にします
   • UE 5.6 以降: プロジェクトで MetaHuman Core Tech プラグインを有効にします

追加の MetaHuman プラグイン

MetaHuman キャラクターの作成方法によっては、追加のプラグインが必要になる場合があります。例えば、UE 5.6 で導入された新しい MetaHuman Creator システムで MetaHuman を作成する場合は、MetaHuman Creator プラグインも有効にする必要があります。このシステムに関する詳細は、MetaHuman Creator ドキュメント を参照してください。

2. 少なくとも1つの MetaHuman キャラクターがダウンロードされ、プロジェクトで利用可能であること
3. Runtime MetaHuman Lip Sync プラグインがインストールされていること

スタンダードモデル拡張プラグイン

スタンダードモデル を使用する予定がある場合は、拡張プラグインをインストールする必要があります:

1. Standard Lip Sync Extension plugin を こちら からダウンロードします
2. ダウンロードしたアーカイブからフォルダを抽出し、プロジェクトの Plugins フォルダに配置します（このフォルダが存在しない場合は作成してください）
3. プロジェクトが C++ プロジェクト として設定されていることを確認します（C++ コードがなくても）
4. プロジェクトをリビルドします

注記

• この拡張は スタンダードモデル を使用したい場合に のみ必要 です。リアリスティックモデル のみが必要な場合は、この手順をスキップできます。
• プラグインを手動でビルドする方法の詳細については、プラグインのビルドチュートリアル を参照してください。

追加プラグイン

• オーディオキャプチャ（例: マイク入力）を使用する予定がある場合は、Runtime Audio Importer プラグインをインストールしてください。
• テキスト読み上げ 機能を使用する予定がある場合:
  • ローカル TTS（スタンダードモデルおよびムード対応リアリスティックモデル）の場合は、Runtime Text To Speech プラグインをインストールしてください。
  • 外部 TTS プロバイダー（ElevenLabs、OpenAI、Google Cloud、Azure）の場合は、Runtime AI Chatbot Integrator プラグインをインストールしてください。

アニメーションブループリントのセットアップ

ステップ 1: 顔アニメーションブループリントの場所を特定し、変更する

UE 5.5 以前 (または UE 5.6+ のレガシー MetaHumans)

MetaHuman キャラクターの顔アニメーションに使用されるアニメーションブループリントを変更する必要があります。デフォルトの MetaHuman 顔アニメーションブループリントは以下の場所にあります:

Content/MetaHumans/Common/Face/Face_AnimBP

リップシンク機能を実装するにはいくつかの選択肢があります：

デフォルトアセットを編集（最も簡単な選択肢）

デフォルトの Face_AnimBP を直接開き、変更を加えます。変更はこのアニメーションブループリントを使用するすべてのMetaHumanキャラクターに影響します。

注意： このアプローチは便利ですが、デフォルトのアニメーションブループリントを使用するすべてのキャラクターに影響を与えます。

複製を作成

1. Face_AnimBP を複製し、わかりやすい名前を付けます
2. キャラクターのブループリントクラスを探します（例：キャラクター「Bryan」の場合、Content/MetaHumans/Bryan/BP_Bryan にあります）
3. キャラクターブループリントを開き、Faceコンポーネントを見つけます
4. Anim Classプロパティを新しく複製したアニメーションブループリントに変更します

注意： このアプローチでは、特定のキャラクターのリップシンクをカスタマイズしながら、他のキャラクターは変更しないままにすることができます。

カスタムアニメーションブループリントを使用

必要な顔のボーンにアクセスできる任意のアニメーションブループリントでリップシンクのブレンディングを実装できます：

1. カスタムアニメーションブループリントを作成するか、既存のものを使用します
2. アニメーションブループリントが、デフォルトのMetaHumanの Face_Archetype_Skeleton と同じ顔のボーンを含むスケルトンで動作することを確認します

注意： このアプローチは、カスタムアニメーションシステムとの統合において最大限の柔軟性を提供します。

UE 5.6+ MetaHuman Creator キャラクター

UE 5.6から、新しい MetaHuman Creator システムが導入されました。これらのキャラクターの場合、プラグインは以下の場所に顔のアニメーションブループリントを提供します：

Content/LipSyncData/LipSync_Face_AnimBP

重要

この Animation Blueprint はプラグインのコンテンツフォルダに配置されており、プラグインの更新ごとに上書きされます。カスタマイズ内容を失わないようにするには：

1. このアセットをプロジェクトの Content フォルダにコピーします（例：YourProject/Content/MetaHumans/LipSync_Face_AnimBP）
2. キャラクター設定でコピーしたバージョンを使用します
3. コピーしたバージョンに対してすべての変更を加えます

プラグインの Face Animation Blueprint を使用する：

1. MetaHuman Creator キャラクターの Blueprint クラスを探します
2. キャラクター Blueprint を開き、Face コンポーネントを見つけます
3. Anim Class プロパティをプラグインの LipSync_Face_AnimBP に変更します
4. Runtime MetaHuman Lip Sync 機能を設定する次のステップに進みます

ステップ 2: イベントグラフの設定

Face Animation Blueprint を開き、Event Graph に切り替えます。オーディオデータを処理してリップシンクアニメーションを生成するジェネレーターを作成する必要があります。

標準モデル

1. まだ存在しない場合は Event Blueprint Begin Play ノードを追加します
2. Create Runtime Viseme Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例："VisemeGenerator"）として保存し、グラフの他の部分で使用します

詳細な設定オプションについては、標準モデルの設定セクションを参照してください。

リアリスティックモデル

1. まだ存在しない場合は Event Blueprint Begin Play ノードを追加します
2. Create Realistic MetaHuman Lip Sync Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例："RealisticMetaHumanLipSyncGenerator"）として保存し、グラフの他の部分で使用します
4. （オプション）Configuration パラメータを使用してジェネレーターの設定を行います

モデルタイプ、パフォーマンス設定、処理パラメータを含む詳細な設定オプションについては、リアリスティックモデルの設定セクションを参照してください。

ムード対応リアリスティックモデル

1. まだ存在しない場合は Event Blueprint Begin Play ノードを追加します
2. Create Realistic MetaHuman Lip Sync With Mood Generator ノードを追加し、Begin Play イベントに接続します
3. 出力を変数（例："MoodMetaHumanLipSyncGenerator"）として保存し、グラフの他の部分で使用します
4. （オプション）Configuration パラメータを使用してジェネレーターの設定を行います

ムードタイプ、強度設定、先読みタイミング、出力タイプ選択を含む詳細なムード設定については、ムード対応モデルの設定セクションを参照してください。

ステップ 3: アニメーショングラフの設定

イベントグラフの設定が完了したら、Anim Graph に切り替えてジェネレーターをキャラクターのアニメーションに接続します：

標準モデル

1. MetaHuman の顔を含むポーズを見つけます（通常は Use cached pose 'Body Pose' から）
2. Blend Runtime MetaHuman Lip Sync ノードを追加します
3. ポーズを Blend Runtime MetaHuman Lip Sync ノードの Source Pose に接続します
4. VisemeGenerator 変数を Viseme Generator ピンに接続します
5. Blend Runtime MetaHuman Lip Sync ノードの出力を Output Pose の Result ピンに接続します

リアリスティックモデル

1. MetaHuman の顔を含むポーズを見つけます（通常は Use cached pose 'Body Pose' から）
2. Blend Realistic MetaHuman Lip Sync ノードを追加します
3. ポーズを Blend Realistic MetaHuman Lip Sync ノードの Source Pose に接続します
4. RealisticMetaHumanLipSyncGenerator 変数を Lip Sync Generator ピンに接続します
5. Blend Realistic MetaHuman Lip Sync ノードの出力を Output Pose の Result ピンに接続します

ムード対応リアリスティックモデル

1. MetaHuman の顔を含むポーズを見つけます（通常は Use cached pose 'Body Pose' から）
2. Blend Realistic MetaHuman Lip Sync ノードを追加します（通常のリアリスティックモデルと同じノード）
3. ポーズを Blend Realistic MetaHuman Lip Sync ノードの Source Pose に接続します
4. MoodMetaHumanLipSyncGenerator 変数を Lip Sync Generator ピンに接続します
5. Blend Realistic MetaHuman Lip Sync ノードの出力を Output Pose の Result ピンに接続します

注記： ムード対応モデルは、通常のリアリスティックモデルと同じ Animation Blueprint ノードを使用します。ムード機能はジェネレーター内部で処理されます。

次のステップ

基本的な Animation Blueprint の設定が完了したので、リップシンクジェネレーターにオーディオデータを供給するためのオーディオ入力処理を設定する必要があります。

マイクキャプチャ、テキスト読み上げ、オーディオファイル処理など、さまざまなオーディオ入力方法を設定する方法については、オーディオ処理ガイドに進んでください。

高度な設定オプションと微調整については、設定ガイドを参照してください。