メインコンテンツまでスキップ

プラグインの使用方法

このガイドでは、MetaHumanキャラクター向けにRuntime MetaHuman Lip Syncをセットアップする手順を説明します。

注意: Runtime MetaHuman Lip SyncはMetaHumanとカスタムキャラクターの両方で動作します。本プラグインは以下のような様々なキャラクタータイプをサポートしています:

  • 人気の商用キャラクター (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMeなど)
  • FACSベースのブレンドシェープを持つキャラクター
  • ARKitブレンドシェープ標準を使用するモデル
  • Preston Blairフォニームセットを持つキャラクター
  • 3ds Maxフォニームシステム
  • 顔の表情用にカスタムモーフターゲットを持つ任意のキャラクター

上記すべての標準に対するビセームマッピングリファレンスを含む、カスタムキャラクターのセットアップに関する詳細な手順については、カスタムキャラクター設定ガイドを参照してください。

前提条件​

開始前に、以下を確認してください:

  1. MetaHumanプラグインがプロジェクトで有効になっていること
  2. 少なくとも1つのMetaHumanキャラクターがダウンロードされ、プロジェクトで利用可能であること
  3. Runtime MetaHuman Lip Syncプラグインがインストールされていること

追加プラグイン:

  • オーディオキャプチャ（例: マイク入力）を使用する場合は、Runtime Audio Importerプラグインをインストールしてください。
  • テキスト読み上げ機能を使用する場合は、Runtime Text To Speechプラグインをインストールしてください。

プラットフォーム固有の設定​

Android / Meta Quest 設定​

AndroidまたはMeta Questプラットフォームをターゲットにしており、このプラグインでビルドエラーが発生する場合、プロジェクト設定でx86_64（x64）Androidアーキテクチャを無効にする必要があります:

  1. 編集 > プロジェクト設定に移動
  2. プラットフォーム > Androidに移動
  3. プラットフォーム - Androidのビルドセクションで、x86_64 [別名 x64] をサポートを見つけ、以下のように無効になっていることを確認します

x64 Androidアーキテクチャを無効化

これは、プラグインが現在Android / Meta Questプラットフォーム向けにarm64-v8aおよびarmeabi-v7aアーキテクチャのみをサポートしているためです。

セットアップ手順​

ステップ1: 顔アニメーションBlueprintを特定して修正​

MetaHumanキャラクターの顔アニメーションに使用するAnimation Blueprintを修正する必要があります。デフォルトのMetaHuman顔Animation Blueprintは以下の場所にあります:

Content/MetaHumans/Common/Face/Face_AnimBP

Face Animation Blueprint

リップシンク機能を実装するにはいくつかの選択肢があります:

デフォルトのFace_AnimBPを直接開いて変更を加えます。この変更は、このAnimation Blueprintを使用するすべてのMetaHumanキャラクターに影響します。

注: この方法は便利ですが、デフォルトのAnimation Blueprintを使用するすべてのキャラクターに影響を与えます。

重要: Runtime MetaHuman Lip Syncのブレンドは、デフォルトのMetaHumanのFace_Archetype_Skeletonに存在する顔のボーンを含むポーズにアクセスできる任意のAnimation Blueprintアセットで実装できます。上記のオプションに限定されません - これらは一般的な実装方法の例です。

ステップ2: イベントグラフの設定​

Face Animation Blueprintを開き、Event Graphに切り替えます。オーディオデータを処理してビジームを生成するRuntime Viseme Generatorを作成する必要があります。

  1. Event Blueprint Begin Playノードがまだない場合は追加します
  2. Create Runtime Viseme Generatorノードを追加し、Begin Playイベントに接続します
  3. 出力を変数（例: "VisemeGenerator"）として保存し、グラフの他の部分で使用します

Creating Runtime Viseme Generator

ステップ3: オーディオ入力処理の設定​

オーディオ入力を処理する方法を設定する必要があります。オーディオソースに応じていくつかの方法があります。

この方法では、マイクに話しながらリアルタイムでリップシンクを実行します:

  1. Runtime Audio Importerを使用してCapturable Sound Waveを作成します
  2. オーディオキャプチャを開始する前に、OnPopulateAudioDataデリゲートにバインドします
  3. バインドされた関数で、Runtime Viseme GeneratorからProcessAudioDataを呼び出します
  4. マイクからのオーディオキャプチャを開始します

コピー可能なノード.

Lip Sync During Audio Capture

ステップ4: アニメーショングラフの設定​

イベントグラフの設定後、Anim Graphに切り替えてビジームジェネレータをキャラクターのアニメーションに接続します:

リップシンク​

  1. MetaHumanの顔を含むポーズを探します（通常はUse cached pose 'Body Pose'から）
  2. Blend Runtime MetaHuman Lip Syncノードを追加します
  3. ポーズをBlend Runtime MetaHuman Lip SyncノードのSource Poseに接続します
  4. RuntimeVisemeGenerator