メインコンテンツまでスキップ

カスタムキャラクターでプラグインを使用する方法

このガイドでは、非MetaHumanキャラクター向けにRuntime MetaHuman Lip Syncをセットアップする手順を説明します。このプロセスにはアニメーションの概念とリギングに関する知識が必要です。特定のキャラクターへの実装サポートが必要な場合は、[email protected]までプロフェッショナルサポートをご依頼ください。

Lip Syncモデルに関する重要な注意点

カスタムキャラクターの互換性

カスタムキャラクターはStandard (Faster)モデルでのみサポートされています。

Realistic (Higher Quality)モデルMetaHumanキャラクター専用に設計されており、カスタムキャラクターでは使用できません。このガイド全体を通して、メインセットアップガイドで参照されている場合はStandardモデルの手順に従ってください。

必須拡張プラグイン: カスタムキャラクターでStandard Modelを使用するには、メインセットアップガイドの前提条件セクションで説明されているStandard Lip Sync Extensionプラグインをインストールする必要があります。

この拡張機能は、本ガイドで説明するすべてのカスタムキャラクター実装に必須です。

前提条件

開始前に、キャラクターが以下の要件を満たしていることを確認してください:

  • 有効なスケルトンを持っている
  • 表情用のモーフターゲット(ブレンドシェイプ)を含んでいる
  • 理想的には10個以上のビセームを定義するモーフターゲットがある(ビセームが多いほどリップシンクの品質が向上)

プラグインでは、キャラクターのモーフターゲットを以下の標準ビセームにマッピングする必要があります:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

注: キャラクターが異なるビセムセットを持っている場合(これはよくあることです)、各ビセムの完全一致は必要ありません。近似で十分です。例えば、キャラクターの SH ビセムをプラグインの CH ビセムにマッピングすることは、これらが密接に関連した後部歯茎音であるため、効果的に機能します。

ビセムマッピングリファレンス

一般的なビセムシステムとプラグインが必要とするビセム間のマッピングは以下の通りです:

ARKitは、いくつかの口形状を含む、顔のアニメーション用の包括的なブレンドシェイプを提供します。以下は、それらをRuntimeMetaHumanLipSyncのビセムにマッピングする方法です:

RuntimeMetaHumanLipSync ビセムARKit 相当備考
SilmouthCloseニュートラル/休止位置
PPmouthPressLeft + mouthPressRight両唇音には、両方のプレス形状を一緒に使用
FFlowerLipBiteLeft + lowerLipBiteRightこれらは「f/v」の唇と歯の接触を作成
THtongueOutARKitは直接的な舌制御を提供
DDjawOpen (軽度) + tongueUpわずかな顎の開きと舌の位置を組み合わせ
KKmouthLeft または mouthRight (軽度)口角の微妙な引きが軟口蓋音を近似
CHjawOpen (軽度) + mouthFunnel (軽度)後部歯茎音のために組み合わせ
SSmouthFrown歯擦音にはわずかなしかめ面を使用
NNjawOpen (非常に軽度) + mouthCloseほとんど閉じた口とわずかな顎の開き
RRmouthPucker (軽度)r音のための微妙な丸め
AAjawOpen + mouthOpen広く開いた母音のために組み合わせ
EjawOpen (軽度) + mouthSmile中間的な開きとわずかな笑み
IHmouthSmile (軽度)唇のわずかな広がり
OHmouthFunnel丸く開いた形状
OUmouthPuckerきつく丸めた唇

カスタムポーズアセットの作成

Blend Runtime MetaHuman Lip Syncノードで使用するキャラクターのカスタムポーズアセットを作成するには、以下の手順に従ってください:

1. キャラクターのSkeletal Meshを特定

リップシンクアニメーションに使用したいモーフターゲット(ブレンドシェイプ)を含むスケルタルメッシュを見つけます。これはキャラクターの設計によって、全身メッシュまたは顔メッシュのいずれかになる場合があります。

2. 利用可能なMorph Targetsを確認

スケルタルメッシュにリップシンクアニメーション用のビセームとして使用できる適切なモーフターゲットがあることを確認してください。顔のアニメーションをサポートするほとんどのキャラクターには、何らかのフォネーム/ビセームモーフターゲットが含まれているはずです。

キャラクターのモーフターゲットの例

3. リファレンスポーズアニメーションを作成

  1. Create Asset -> Create Animation -> Reference Pose に移動します
  2. アニメーションシーケンスにわかりやすい名前を付け、適切な場所に保存します
  3. 作成されたAnimation Sequenceは自動的に開き、ループ再生される空のアニメーションが表示されます

リファレンスポーズアセットの作成 リファレンスポーズアセットの命名

  1. 編集しやすくするため、Pauseボタンをクリックしてアニメーションの再生を停止します

アニメーション再生の一時停止

4. アニメーションシーケンスの編集

  1. Edit in Sequencer -> Edit with FK Control Rig をクリックします
  2. Bake to Control Rigダイアログで、設定を変更せずにBake to Control Rigボタンをクリックします

FK Control Rigでの編集 Control Rigへのベイク

  1. エディタはAnimation Modeに切り替わり、Sequencerタブが開きます
  2. View Range End Timeを0016に設定します(これによりWorking Range Endも自動的に0016に設定されます)
  3. スライダーの右端をシーケンサーウィンドウの右端までドラッグします

5. アニメーションカーブの準備

  1. Animation Sequenceアセットに戻り、Curvesリスト内のモーフターゲットを探します(表示されていない場合は、Animation Sequenceアセットを閉じて再度開いてください)
  2. リップシンクに使用したいビジームや口の動きに関連しないモーフターゲットを削除します

6. ビセームマッピングを計画する

キャラクターのビセームをプラグインが必要とするセットにマッチさせるためのマッピング計画を作成します。例えば:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

各ビジュームに対してマッピングが重複しても問題ないことに注意してください。

7. 各ビジュームをアニメーションする

  1. 各ビジュームについて、関連するモーフターゲットカーブを0.0から1.0までアニメーションさせる
  2. 各ビジュームアニメーションを異なるフレームで開始する
  3. 自然なビジューム形状を作成するために必要な追加カーブ(顎/口の開閉、舌の位置など)を設定する

8. ポーズアセットを作成

  1. Create Asset -> Pose Asset -> Current Animation に移動します
  2. ポーズアセットにわかりやすい名前を付け、適切な場所に保存します
  3. 作成されたポーズアセットは自動的に開き、Pose_0Pose_1などのポーズが表示されます。それぞれがビセームに対応しています
  4. ビセームの重みをプレビューして、期待通りに動作することを確認します

ポーズア��セットの作成 ポーズアセットの命名 ビセーム付きポーズアセット

9. ポーズアセットを完成させる

  1. 各ポーズの名前を前提条件セクションのビセーム名に合わせて変更します
  2. 使用されていないポーズを削除します

オーディオ処理とブレンディングの設定

ポーズアセットの準備が整ったら、オーディオ処理とブレンディングノードを設定する必要があります:

  1. キャラクターのAnimation Blueprintを探すか作成します
  2. 標準プラグイン設定ガイドに記載されているのと同じ手順でオーディオ処理とブレンディングを設定します
  3. Blend Runtime MetaHuman Lip Syncノードで、デフォルトのMetaHumanポーズアセットの代わりにカスタムPose Assetを選択します

カスタムポーズアセットの選択

ボディアニメーションとの組み合わせ

リップシンクを他のボディアニメーションと一緒に行いたい場合:

  1. 標準プラグインガイドに記載されているのと同じ手順に従います
  2. MetaHumanのボーン名を使用する代わりに、キャラクターの首スケルトンに正しいボーン名を指定してください

結果

このセットアップを使用したカスタムキャラクターの例を以下に示します:

例1: カスタムキャラクターでのリップシンク

�例2: 異なるビジームシステムでのリップシンク

例3: 異なるビジームシステムでのリップシンク

リップシンクの品質は、特定のキャラクターとそのビジームの設定状況に大きく依存します。上記の例は、異なるタイプのカスタムキャラクターと個別のビジームシステムで動作するプラグインを示しています。