プラグインの使用方法

このガイドは、MetaHumanキャラクター向けにRuntime MetaHuman Lip Syncをセットアップする手順を説明します。

前提条件

開始する前に、以下を確認してください：

1. MetaHumanプラグインがプロジェクトで有効になっていること
2. プロジェクトで少なくとも1つのMetaHumanキャラクターがダウンロードされ、利用可能であること
3. Runtime MetaHuman Lip Sync プラグインがインストールされていること

追加のプラグイン:

• オーディオキャプチャ（例: マイク入力）を使用する予定の場合は、Runtime Audio Importer プラグインをインストールしてください。
• テキスト読み上げの機能を使用する予定の場合は、Runtime Text To Speech プラグインをインストールしてください。

セットアップ手順

ステップ1: 顔アニメーションのブループリントを探して変更

MetaHumanキャラクターの顔のアニメーション用に使用するアニメーションブループリントを変更する必要があります。デフォルトのMetaHuman顔アニメーションブループリントは以下にあります：

Content/MetaHumans/Common/Face/Face_AnimBP

リップシンク機能を実装するには、いくつかのオプションがあります：

デフォルトアセットを編集（最も単純なオプション）

デフォルトのFace_AnimBPを直接開いて変更を加えます。変更はこのアニメーションブループリントを使用するすべてのMetaHumanキャラクターに影響を与えます。

注意: この方法は便利ですが、デフォルトのアニメーションブループリントを使用しているすべてのキャラクターに影響を与えます。

複製を作成

1. Face_AnimBPを複製し、わかりやすい名前を付けます。
2. キャラクターのBlueprintクラスを見つけます（例：キャラクター「Bryan」の場合、Content/MetaHumans/Bryan/BP_Bryanにあります）。
3. キャラクターのBlueprintを開き、Faceコンポーネントを見つけます。
4. Anim Classプロパティを複製したアニメーションブループリントに変更します。

注意: この方法では特定のキャラクターのリップシンクをカスタマイズでき、他のキャラクターには影響を与えません。

カスタムアニメーションブループリントを使用

必要な顔の骨にアクセスできる任意のアニメーションブループリントでリップシンクブレンディングを実装できます：

1. カスタムアニメーションブループリントを作成または既存のものを使用します。
2. あなたのアニメーションブループリントがデフォルトのMetaHumanのFace_Archetype_Skeleton（いずれのMetaHumanキャラクターでも使われる標準的なスケルトン）と同じ顔の骨を含むスケルトンと連携できることを確認します。

注意: この方法はカスタムアニメーションシステムとの統合に最大限の柔軟性を提供します。

重要: Runtime MetaHuman Lip Syncのブレンディングは、デフォルトのMetaHumanのFace_Archetype_Skeletonに含まれる顔の骨を持つポーズにアクセスできる任意のアニメーションブループリントアセットに実装できます。これらは一般的な実装方法であり、上記に限るわけではありません。

ステップ2：イベントグラフのセットアップ

あなたのFace Animation Blueprintを開き、Event Graphに切り替えます。オーディオデータを処理し、ビセムを生成するRuntime Viseme Generatorを作成する必要があります。

1. Event Blueprint Begin Playノードをまだ作成していない場合は追加します。
2. Create Runtime Viseme Generatorノードを追加し、Begin Playイベントに接続します。
3. 出力を変数（例：「VisemeGenerator」）として保存し、グラフの他の部分で使用します。

ステップ3：オーディオ入力処理のセットアップ

オーディオ入力を処理する方法を設定する必要があります。これは、オーディオソースに応じていくつかの方法があります。

マイク（リアルタイム）

この方法は、マイクに話しかけながらリアルタイムでリップシンクを行います：

1. Runtime Audio Importerを使用してCapturable Sound Waveを作成します。
2. キャプチャを開始する前に、OnPopulateAudioDataデリゲートにバインドします。
3. バインドした関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します。
4. マイクからのオーディオキャプチャを開始します。

Copyable nodes.

マイク（再生）

この方法は、マイクからオーディオをキャプチャしてから、リップシンクと共に再生します：

1. Runtime Audio Importerを使用してCapturable Sound Waveを作成します。
2. マイクからのオーディオキャプチャを開始します。
3. Capturable Sound Waveを再生する前に、OnGeneratePCMDataデリゲートにバインドします。
4. バインドした関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します。

Copyable nodes.

Text-to-Speech

テキストから音声を合成し、リップシンクを行います：

1. Runtime Text To Speechを使用してテキストから音声を生成します。
2. Runtime Audio Importerを使用して合成されたオーディオをインポートします。
3. インポートされたサウンドウェーブを再生する前に、OnGeneratePCMDataデリゲートにバインドします。
4. バインドした関数内で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します。

Copyable nodes.

カスタムオーディオソース

カスタムオーディオソースの場合、次のものが必要です：

1. float PCM形式のオーディオデータ（浮動小数点サンプルの配列）
2. サンプルレートとチャンネル数
3. このパラメータを使用してあなたのRuntime Viseme GeneratorからProcessAudioDataを呼び出します。

ステップ4：アニムグラフのセットアップ

イベントグラフのセットアップ後、Anim Graphに切り替えてキャラクターのアニメーションにビセムジェネレーターを接続します：

1. MetaHumanの顔を含むポーズを特定します（通常はUse cached pose 'Body Pose'から）。
2. Blend Runtime MetaHuman Lip Syncノードを追加します。
3. ポーズをBlend Runtime MetaHuman Lip SyncノードのSource Poseに接続します。
4. あなたのRuntimeVisemeGenerator変数をViseme Generatorピンに接続します。
5. Blend Runtime MetaHuman Lip Syncノードの出力をOutput PoseのResultピンに接続します。

注意: リップシンクプラグインは既存のアニメーションセットアップと非破壊的に機能するように設計されています。それは、リップ動作に必要な特定の顔の骨にのみ影響し、他の顔のアニメーションには影響を与えません。これにより、アニメーションチェーンの任意のポイントで安全に統合できるため、リップシンクが目の瞬き、眉毛の動き、感情表現、その他の顔アニメーションと競合せずに組み合わせることができます。

設定

Blend Runtime MetaHuman Lip Syncノードは、プロパティパネルで設定オプションを持っています：

プロパティ	デフォルト	説明
Interpolation Speed	25	ビセム間でリップの動きが移行する速さを制御します。値が高いほど、より速く急な移行になります。
Reset Time	0.2	オーディオが停止した後にリップシンクがリセットされるまでの時間（秒）。