メインコンテンツまでスキップ

カスタムキャラクターでプラグインを使用する方法

このガイドでは、非MetaHumanキャラクター向けにRuntime MetaHuman Lip Syncをセットアップする手順を説明します。このプロセスにはアニメーションの概念とリギングに関する知識が必要です。特定のキャラクターへの実装サポートが必要な場合は、[email protected]までプロフェッショナルサポートにお問い合わせください。

リップシンクモデルに関する重要な注意点

カスタムキャラクターの互換性

カスタムキャラクターはStandard(高速)モデルのみサポートされています。

Realistic(高品質)モデルMetaHumanキャラクター専用に設計されており、カスタムキャラクターでは使用できません。このガイドでは、メインセットアップガイドで参照されているStandardモデルの手順に従ってください。

必須拡張プラグイン: カスタムキャラクターでStandardモデルを使用するには、メインセットアップガイドの前提条件セクションで説明されているStandard Lip Sync Extensionプラグインをインストールする必要があります。

この拡張機能は、本ガイドで説明するすべてのカスタムキャラクター実装に必須です。

前提条件

開始前に、キャラクターが以下の要件を満たしていることを確認してください:

  • 有効なスケルトンを持っている
  • 表情用のモーフターゲット(ブレンドシェイプ)を含んでいる
  • 理想的には10個以上のビセームを定義するモーフターゲットがある(ビセームが多いほどリップシンクの品質が向上)

プラグインでは、キャラクターのモーフターゲットを以下の標準ビセームにマッピングする必要があります:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

注: キャラクターが異なるビセムセットを持っている場合(これはよくあることです)、各ビセムに完全に一致させる必要はありません。近似値で十分です。例えば、キャラクターのSHビセムをプラグインのCHビセムにマッピングすることは効果的です。これらは密接に関連した後部歯茎音だからです。

ビセムマッピングリファレンス

一般的なビセムシステムとプラグインが必要とするビセム間のマッピングは以下の通りです:

ARKitは、いくつかの口形状を含む、顔のアニメーション用の包括的なブレンドシェイプセットを提供します。以下はそれらをRuntimeMetaHumanLipSyncのビセムにマッピングする方法です:

RuntimeMetaHumanLipSync ビセムARKit 相当備考
SilmouthCloseニュートラル/休止位置
PPmouthPressLeft + mouthPressRight両唇音には両方のプレス形状を一緒に使用
FFlowerLipBiteLeft + lowerLipBiteRight (または mouthRollLower)下唇が上歯に接触、"f"や"v"音の場合
THtongueOutARKitは直接的な舌制御を提供
DDjawOpen (軽度) + tongueUp (舌リグがある場合)舌が歯茎に接触; 軽度の顎開き
KKmouthLeft または mouthRight (軽度)口角の微妙な引きが軟口蓋音を近似
CHjawOpen (軽度) + mouthFunnel (軽度)後部歯茎音用に組み合わせる
SSmouthFrown歯擦音には軽度のしかめ面を使用
NNjawOpen (非常に軽度) + mouthCloseほぼ閉じた口に軽度の顎開き
RRmouthPucker (軽度)r音用の微妙な丸め
AAjawOpen + mouthStretchLeft + mouthStretchRight (または jawOpen + mouthOpen)"あ"音用の広く開いた口
EjawOpen (軽度) + mouthSmile中程度に開いた位置に軽度の微笑み
IHmouthSmile (軽度)唇のわずかな広がり
OHmouthFunnel丸く開いた形状
OUmouthPuckerきつく丸めた唇

カスタムポーズアセットの作成

Blend Runtime MetaHuman Lip Syncノードで使用するキャラクター用のカスタムポーズアセットを作成するには、以下の手順に従ってください:

1. キャラクターのSkeletal Meshを特定

リップシンクアニメーションに使用したいモーフターゲット(ブレンドシェイプ)を含むスケルタルメッシュを見つけます。これはキャラクターの設計によって、全身メッシュまたは顔メッシュのいずれかになる場合があります。

2. 利用可能なMorph Targetsを確認

リップシンクアニメーション用のビセームとして使用できる適切なモーフターゲットがスケルタルメッシュにあることを確認してください。顔のアニメーションをサポートするほとんどのキャラクターには、何らかのフォネーム/ビセームモーフターゲットがあるはずです。

カスタムキャラクターのモーフターゲット例

3. リファレンスポーズアニメーションを作成

  1. Create Asset -> Create Animation -> Reference Pose に移動します
  2. アニメーションシーケンスにわかりやすい名前を付け、適切な場所に保存します
  3. 作成された Animation Sequence は自動的に開き、空のアニメーションがループ再生されます

リファレンスポーズアセットの作成 リファレンスポーズアセットの命名

  1. 編集しやすくするため、Pause ボタンをクリックしてアニメーションの再生を停止します

アニメーション再生の一時停止

4. アニメーションシーケンスの編集

  1. Edit in Sequencer -> Edit with FK Control Rig をクリックします
  2. Bake to Control Rig ダイアログで、設定を変更せずに Bake to Control Rig ボタンをクリックします

FK Control Rig での編集 Control Rig へのベイク

  1. エディタは Animation Mode に切り替わり、Sequencer タブが開きます
  2. View Range End Time を 0016 に設定します(これにより Working Range End も自動的に 0016 に設定されます)
  3. スライダーの右端をシーケンサーウィンドウの右端までドラッグします

5. アニメーションカーブの準備

  1. Animation Sequenceアセットに戻り、Curvesリスト内のモーフターゲットを探します(表示されていない場合は、Animation Sequenceアセットを閉じて再度開いてください)
  2. リップシンクに使用したいビジームや口の動きに関連しないモーフターゲットはすべて削除します

6. ビセムマッピングを計画する

キャラクターのビセムをプラグインが必要とするセットにマッチさせるためのマッピング計画を作成します。例えば:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

各ビジュームに対して正確なマッチングがない場合、マッピングが重複しても問題ありません。

7. 各ビジュームをアニメーション化

  1. 各ビジュームについて、関連するモーフターゲットカーブを0.0から1.0までアニメーション化します
  2. 各ビジュームアニメーションを異なるフレームで開始します
  3. 自然なビジューム形状を作成するために必要な追加カーブ(顎/口の開閉、舌の位置など)を設定します

8. ポーズアセットの作成

  1. Create Asset -> Pose Asset -> Current Animation に移動します
  2. ポーズアセットにわかりやすい名前を付け、適切な場所に保存します
  3. 作成されたポーズアセットは自動的に開き、Pose_0Pose_1などのビセムに対応したポーズが表示されます
  4. ビセムの重みをプレビューして、期待通りに動作することを確認します

ポーズアセットの作成 ポーズアセットの命名 ビセム付きポーズアセット

9. ポーズアセットの最終調整

  1. 各ポーズの名前を前提条件セクションのビセム名に合わせて変更します
  2. 使用されていないポーズを削除します

オーディオ処理とブレンディングの設定

ポーズアセットの準備が整ったら、オーディオ処理とブレンディングノードを設定する必要があります:

  1. キャラクターのAnimation Blueprintを探すか作成します
  2. 標準プラグイン設定ガイドに記載されているのと同じ手順でオーディオ処理とブレンディングを設定します
  3. Blend Runtime MetaHuman Lip Syncノードで、デフォルトのMetaHumanポーズアセットの代わりにカスタムポーズアセットを選択します

カスタムポーズアセットの選択

ボディアニメーションとの組み合わせ

Lip Syncを他のボディアニメーションと一緒に実行したい場合:

  1. 標準プラグインガイドに記載されているのと同じ手順に従います
  2. MetaHumanのボーン名を使用する代わりに、キャラクターの首スケルトンに正しいボーン名を指定してください

結果

このセットアップを使用したカスタムキャラクターの例を以下に示します:

例1: カスタムキャラクターでのLip Sync

例2: 異なるビセムシステムでのLip Sync

例3: 異なるビセムシステムでのLip Sync

Lip Syncの品質は、特定のキャラクターとそのビセムの設定状況に大きく依存します。上記の例は、異なるタイプのカスタムキャラクターと独自のビセムシステムでプラグインが動作していることを示しています。