プラグインの使用方法

このガイドでは、MetaHumanキャラクター向けにRuntime MetaHuman Lip Syncをセットアップする手順を説明します。

注: Runtime MetaHuman Lip SyncはMetaHumanとカスタムキャラクターの両方で動作します。本プラグインは以下のような様々なキャラクタータイプをサポートしています:

• 人気商用キャラクター (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMeなど)
• FACSベースのブレンドシェープを持つキャラクター
• ARKitブレンドシェープ標準を使用するモデル
• Preston Blairフォネームセットを持つキャラクター
• 3ds Maxフォネームシステム
• 顔の表情用にカスタムモーフターゲットを持つ任意のキャラクター

上記すべての標準に対するビセームマッピングリファレンスを含む、カスタムキャラクターのセットアップ詳細についてはカスタムキャラクター設定ガイドを参照してください。

前提条件

開始前に以下を確認してください:

1. プロジェクトでMetaHumanプラグインが有効になっていること（注: UE 5.6以降ではこの手順は不要。MetaHuman機能がエンジンに直接統合されています）
2. 少なくとも1つのMetaHumanキャラクターがダウンロードされ、プロジェクトで利用可能であること
3. Runtime MetaHuman Lip Syncプラグインがインストールされていること

追加プラグイン:

• オーディオキャプチャ（例: マイク入力）を使用する場合は、Runtime Audio Importerプラグインをインストールしてください。
• テキスト読み上げ機能を使用する場合は、Runtime Text To Speechプラグインをインストールしてください。

プラットフォーム固有の設定

Android / Meta Quest設定

AndroidまたはMeta Questプラットフォームをターゲットにしており、このプラグインでビルドエラーが発生する場合、プロジェクト設定でx86_64（x64）Androidアーキテクチャを無効にする必要があります:

1. 編集 > プロジェクト設定に移動
2. プラットフォーム > Androidに移動
3. プラットフォーム - Androidのビルドセクションで、x86_64 [別名 x64]をサポートを見つけ、以下のように無効になっていることを確認してください

これは、プラグインが現在Android / Meta Questプラットフォーム向けにarm64-v8aとarmeabi-v7aアーキテクチャのみをサポートしているためです。

セットアップ手順

ステップ1: 顔アニメーションBlueprintを特定して修正

UE 5.5以前（またはUE 5.6+のレガシーMetaHumans）

MetaHumanキャラクターの顔アニメーションに使用されるAnimation Blueprintを修正する必要があります。デフォルトのMetaHuman顔Animation Blueprintは以下にあります:

Content/MetaHumans/Common/Face/Face_AnimBP

リップシンク機能を実装するにはいくつかのオプションがあります:

デフォルトアセットを直接編集 (最も簡単なオプション)

デフォルトのFace_AnimBPを直接開いて変更を加えます。変更はこのAnimation Blueprintを使用するすべてのMetaHumanキャラクターに影響します。

注: この方法は便利ですが、デフォルトのAnimation Blueprintを使用するすべてのキャラクターに影響を与えます。

複製を作成

1. Face_AnimBPを複製し、わかりやすい名前を付けます
2. キャラクターのBlueprintクラスを探します（例: "Bryan"というキャラクターの場合、Content/MetaHumans/Bryan/BP_Bryanにあります）
3. キャラクターのBlueprintを開き、Faceコンポーネントを見つけます
4. Anim Classプロパティを新しく複製したAnimation Blueprintに変更します

注: この方法では、特定のキャラクター用にリップシンクをカスタマイズしながら、他のキャラクターは変更せずに残すことができます。

カスタムAnimation Blueprintを使用

必要なフェイシャルボーンにアクセスできる任意のAnimation Blueprintでリップシンクのブレンドを実装できます:

1. カスタムAnimation Blueprintを作成または既存のものを使用します
2. Animation Blueprintが、デフォルトのMetaHumanのFace_Archetype_Skeleton（任意のMetaHumanキャラクターに使用される標準スケルトン）と同じフェイシャルボーンを含むスケルトンで動作することを確認します

注: この方法では、カスタムアニメーションシステムとの統合において最大限の柔軟性が得られます。

UE 5.6+ MetaHuman Creatorキャラクター

UE 5.6以降では、従来のFace_AnimBPアセットなしでキャラクターを作成する新しいMetaHuman Creatorシステムが導入されました。これらのキャラクターの場合、プラグインは以下の場所にフェースAnimation Blueprintを提供します:

Content/LipSyncData/LipSync_Face_AnimBP

プラグインのFace Animation Blueprintの使用:

1. MetaHuman CreatorキャラクターのBlueprintクラスを特定
2. キャラクターBlueprintを開き、Faceコンポーネントを見つける
3. Anim ClassプロパティをプラグインのLipSync_Face_AnimBPに変更
4. Runtime MetaHuman Lip Sync機能を設定するためにステップ2-4を続行

代替オプション:

• レガシー手順を使用: 従来のMetaHumansを扱っている場合や従来のワークフローを好む場合は、上記のUE 5.5手順に従うことが可能
• カスタムAnimation Blueprintを作成: MetaHuman Creatorスケルトン構造と連携する独自のAnimation Blueprintを作成

注意: UE 5.6+を使用しているが、レガシーMetaHumans（MetaHuman Creatorで作成されていない）を扱っている場合は、"UE 5.5 and Earlier"タブの手順を使用してください。

重要: Runtime MetaHuman Lip Syncのブレンディングは、デフォルトMetaHumanのFace_Archetype_Skeletonに存在する顔面ボーンを含むポーズにアクセスできる任意のAnimation Blueprintアセットに実装可能です。上記のオプションに限定されません - これらは一般的な実装アプローチです。

ステップ2: イベントグラフの設定

Face Animation Blueprintを開き、Event Graphに切り替えます。オーディオデータを処理してビセームを生成するRuntime Viseme Generatorを作成する必要があります。

1. まだ存在しない場合はEvent Blueprint Begin Playノードを追加
2. Create Runtime Viseme Generatorノードを追加し、Begin Playイベントに接続
3. 出力を変数（例: "VisemeGenerator"）として保存し、グラフの他の部分で使用

ステップ3: オーディオ入力処理の設定

オーディオ入力を処理する方法を設定する必要があります。オーディオソースに応じて複数の方法があります。

マイク（リアルタイム）

このアプローチでは、マイクに話しながらリアルタイムでリップシンクを実行:

1. Runtime Audio Importerを使用してCapturable Sound Waveを作成
2. オーディオキャプチャを開始する前に、OnPopulateAudioDataデリゲートにバインド
3. バインドされた関数で、Runtime Viseme GeneratorからProcessAudioDataを呼び出し
4. マイクからオーディオキャプチャを開始

コピー可能なノード.

マイク（再生）

このアプローチでは、マイクからオーディオをキャプチャし、リップシンク付きで再生:

1. Runtime Audio Importerを使用してCapturable Sound Waveを作成
2. マイクからオーディオキャプチャを開始
3. キャプチャ可能なサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインド
4. バインドされた関数で、Runtime Viseme GeneratorからProcessAudioDataを呼び出し

コピー可能なノード.

注意: よりレスポンシブなリップシンクのためにオーディオデータを小さなチャンクで処理したい場合、SetNumSamplesPerChunk関数の計算を調整してください。例えば、サンプルレートを100（10msごとにストリーミング）ではなく150（約6.67msごとにストリーミング）で割ると、より頻繁なリップシンク更新が提供されます。

テキスト読み上げ（ローカル）

通常

このアプローチでは、テキストから音声を合成し、リップシンクを実行:

1. Runtime Text To Speechを使用してテキストから音声を生成
2. Runtime Audio Importerを使用して合成されたオーディオをインポート
3. インポートしたサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインド
4. バインドされた関数で、Runtime Viseme GeneratorからProcessAudioDataを呼び出し

コピー可能なノード.

注意: よりレスポンシブなリップシンクのためにオーディオデータを小さなチャンクで処理したい場合、SetNumSamplesPerChunk関数の計算を調整してください。例えば、サンプルレートを100（10msごとにストリーミング）ではなく150（約6.67msごとにストリーミング）で割ると、より頻繁なリップシンク更新が提供されます。

ストリーミング

このアプローチでは、ストリーミングテキスト読み上げ合成とリアルタイムリップシンクを使用:

1. Runtime Text To Speechを使用してテキストからストリーミング音声を生成
2. Runtime Audio Importerを使用して合成されたオーディオをインポート
3. ストリーミングサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインド
4. バインドされた関数で、Runtime Viseme GeneratorからProcessAudioDataを呼び出し

コピー可能なノード.

注意: よりレスポンシブなリップシンクのためにオーディオデータを小さなチャンクで処理したい場合、SetNumSamplesPerChunk関数の計算を調整してください。例えば、サンプルレートを100（10msごとにストリーミング）ではなく150（約6.67msごとにストリーミング）で割ると、より頻繁なリップシンク更新が提供されます。

テキスト読み上げ（外部API）

通常

このアプローチでは、Runtime AI Chatbot Integratorプラグインを使用してAIサービスから合成音声を生成し、リップシンクを実行:

1. Runtime AI Chatbot Integratorを使用して外部API（OpenAI、ElevenLabsなど）からテキストで音声を生成
2. Runtime Audio Importerを使用して合成されたオーディオデータをインポート
3. インポートしたサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインド
4. バインドされた関数で、Runtime Viseme GeneratorからProcessAudioDataを呼び出し

コピー可能なノード.

注意: よりレスポンシブなリップシンクのためにオーディオデータを小さなチャンクで処理したい場合、SetNumSamplesPerChunk関数の計算を調整してください。例えば、サンプルレートを100（10msごとにストリーミング）ではなく150（約6.67msごとにストリーミング）で割ると、より頻繁なリップシンク更新が提供されます。

ストリーミング

このアプローチでは、Runtime AI Chatbot Integratorプラグインを使用してAIサービスから合成ストリーミング音声を生成し、リップシンクを実行:

1. Runtime AI Chatbot Integratorを使用してストリーミングTTS API（ElevenLabs Streaming APIなど）に接続
2. Runtime Audio Importerを使用して合成されたオーディオデータをインポート
3. ストリーミングサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインド
4. バインドされた関数で、Runtime Viseme GeneratorからProcessAudioDataを呼び出し

コピー可能なノード.

注意: よりレスポンシブなリップシンクのためにオーディオデータを小さなチャンクで処理したい場合、SetNumSamplesPerChunk関数の計算を調整してください。例えば、サンプルレートを100（10msごとにストリーミング）ではなく150（約6.67msごとにストリーミング）で割ると、より頻繁なリップシンク更新が提供されます。

オーディオファイル/バッファから

このアプローチでは、事前に録音されたオーディオファイルまたはオーディオバッファを使用してリップシンクを実行:

1. Runtime Audio Importerを使用してディスクまたはメモリからオーディオファイルをインポート
2. インポートしたサウンドウェーブを再生する前に、そのOnGeneratePCMDataデリゲートにバインド
3. バインドされた関数で、Runtime Viseme GeneratorからProcessAudioDataを呼び出し
4. インポートしたサウンドウェーブを再生し、リップシンクアニメーションを観察

コピー可能なノード.

注意: よりレスポンシブなリップシンクのためにオーディオデータを小さなチャンクで処理したい場合、SetNumSamplesPerChunk関数の計算を調整してください。例えば、サンプルレートを100（10msごとにストリーミング）ではなく150（約6.67msごとにストリーミング）で割ると、より頻繁なリップシンク更新が提供されます。

カスタムオーディオソース

カスタムオーディオソースの場合、以下が必要:

1. float PCM形式のオーディオデータ（浮動小数点サンプルの配列）
2. サンプルレートとチャンネル数
3. これらのパラメータでRuntime Viseme GeneratorからProcessAudioDataを呼び出し

カスタムソースからオーディオをストリーミングする例:

コピー可能なノード.

注意: よりレスポンシブなリップシンクのためにオーディオデータを小さなチャンクで処理したい場合、SetNumSamplesPerChunk関数の計算を調整してください。例えば、サンプルレートを100（10msごとにストリーミング）ではなく150（約6.67msごとにストリーミング）で割ると、より頻繁なリップシンク更新が提供されます。

ステップ4: アニメーショングラフの設定

イベントグラフの設定後、Anim Graphに切り替えてビセームジェネレータをキャラクターのアニメーションに接続:

リップシンク

1. MetaHumanの顔を含むポーズを特定（通常はUse cached pose 'Body Pose'から）
2. Blend Runtime MetaHuman Lip Syncノードを追加
3. ポーズをBlend Runtime MetaHuman Lip SyncノードのSource Poseに接続
4. RuntimeVisemeGenerator変数をViseme Generatorピンに接続
5. Blend Runtime MetaHuman Lip Syncノードの出力をOutput PoseのResultピンに接続

オーディオでリップシンクが検出されると、キャラクターは動的にアニメーションします:

笑いアニメーション

オーディオで検出された笑いに動的に反応する笑いアニメーションも追加可能:

1. Blend Runtime MetaHuman Laughterノードを追加
2. RuntimeVisemeGenerator変数をViseme Generatorピンに接続
3. 既にリップシンクを使用している場合:
   • Blend Runtime MetaHuman Lip Syncノードからの出力をBlend Runtime MetaHuman LaughterノードのSource Poseに接続
   • Blend Runtime MetaHuman Laughterノードの出力をOutput PoseのResultピンに接続
4. リップシンクなしで笑いのみを使用する場合:
   • ソースポーズを直接Blend Runtime MetaHuman LaughterノードのSource Poseに接続
   • 出力をResultピンに接続

オーディオで笑いが検出されると、キャラクターは動的にアニメーションします:

ボディアニメーションとの組み合わせ

既存のボディアニメーションを上書きせずにリップシンクと笑いを適用するには:

1. ボディアニメーションと最終出力の間にLayered blend per boneノードを追加。Use Attached Parentがtrueであることを確認。
2. レイヤー設定を構成:
   • Layer Setup配列に1アイテムを追加
   • レイヤーのBranch Filtersに以下のBone Nameで3アイテムを追加:
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. 接続を作成:
   • 既存アニメーション（BodyPoseなど）→ Base Pose入力
   • 顔面アニメーション出力（リップシンク/笑いノードから）→ Blend Poses 0入力
   • レイヤードブレンドノード → 最終Resultポーズ

これが機能する理由: ブランチフィルタは顔面アニメーションボーンを分離し、リップシンクと笑いが元のボディアニメーションを保持しながら顔面の動きと排他的にブレンドできるようにします。これはMetaHumanの顔面リグ構造に一致し、自然な統合を保証します。

注意: リップシンクと笑い機能は、既存のアニメーション設定と非破壊的に連携するように設計されています。これらは口の動きに必要な特定の顔面ボーンのみに影響し、他の顔面アニメーションはそのまま残ります。つまり、アニメーションチェーンの任意の時点で安全に統合できます - 他の顔面アニメーションの前（それらのアニメーションがリップシンク/笑いを上書きできるように）または後（リップシンク/笑いが既存アニメーションの上にブレンドできるように）。この柔軟性により、リップシンクと笑いを目の瞬き、眉の動き、感情表現、その他の顔面アニメーションと競合なく組み合わせることができます。

設定

リップシンク設定

Blend Runtime MetaHuman Lip Syncノードにはプロパティパネルに設定オプションがあります:

プロパティ	デフォルト	説明
Interpolation Speed	25	ビセーム間の唇の動きの遷移速度を制御。高い値ほど速く急激な遷移になります。
Reset Time	0.2	リップシンクがリセットされるまでの秒数。オーディオが停止した後もリップシンクが継続するのを防ぐのに有用。

笑い設定

Blend Runtime MetaHuman Laughterノードには独自の設定オプションがあります:

プロパティ	デフォルト	説明
Interpolation Speed	25	笑いアニメーション間の唇の動きの遷移速度を制御。高い値ほど速く急激な遷移になります。
Reset Time	0.2	笑いがリセットされるまでの秒数。オーディオが停止した後も笑いが継続するのを防ぐのに有用。
Max Laughter Weight	0.7	笑いアニメーションの最大強度をスケーリング（0.0 - 1.0）。