メインコンテンツまでスキップ

カスタムキャラクターでプラグインを使用する方法

このガイドでは、非MetaHumanキャラクター向けにRuntime MetaHuman Lip Syncをセットアップする手順を説明します。このプロセスにはアニメーションの概念とリギングに関する知識が必要です。特定のキャラクターへの実装サポートが必要な場合は、[email protected]までプロフェッショナルサポートにお問い合わせください。

リップシンクモデルに関する重要注意点

⚠️ カスタムキャラクターはStandard(高速)モデルのみサポートされています

Realistic(高品質)モデルはMetaHumanキャラクター専用に設計されており、カスタムキャラクターでは使用できません。このガイド全体で、メインセットアップガイドからStandardモデルの手順を参照してください。

前提条件

開始前に、キャラクターが以下の要件を満たしていることを確認してください:

  • 有効なスケルトンを持っている
  • 表情用のモーフターゲット(ブレンドシェイプ)を含んでいる
  • 理想的には10個以上のビセームを定義するモーフターゲットがある(ビセームが多いほどリップシンク品質が向上)

プラグインでは、キャラクターのモーフターゲットを以下の標準ビセームにマッピングする必要があります:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

注: キャラクターが異なるビセムセットを持っている場合(その可能性が高い)、各ビセムに対して完全一致は必要ありません。近似値で十分な場合が多く、例えばキャラクターのSHビセムをプラグインのCHビセムにマッピングすることは、これらが密接に関連した後部歯茎音であるため効果的に機能します。

ビセムマッピングリファレンス

一般的なビセムシステムとプラグインが必要とするビセム間のマッピングは以下の通りです:

ARKitは、複数の口形状を含む表情アニメーション用の包括的なブレンドシェイプセットを提供します。以下はそれらをRuntimeMetaHumanLipSyncのビセムにマッピングする方法です:

RuntimeMetaHumanLipSync ビセムARKit 相当備考
SilmouthCloseニュートラル/休止位置
PPmouthPressLeft + mouthPressRight両唇音には両方のプレス形状を一緒に使用
FFlowerLipBiteLeft + lowerLipBiteRightこれらで「f/v」の唇と歯の接触を作成
THtongueOutARKitは舌の直接制御が可能
DDjawOpen (軽度) + tongueUp軽い顎開きと舌位置を組み合わせ
KKmouthLeft または mouthRight (軽度)微妙な口角引きで軟口蓋音を近似
CHjawOpen (軽度) + mouthFunnel (軽度)後部歯茎音用に組み合わせ
SSmouthFrown歯擦音用に軽いしかめ面を使用
NNjawOpen (極軽度) + mouthCloseほぼ閉じた口に軽い顎開き
RRmouthPucker (軽度)r音用の微妙な丸め
AAjawOpen + mouthOpen広く開いた母音用に組み合わせ
EjawOpen (軽度) + mouthSmile中程度開きに軽い笑み
IHmouthSmile (軽度)唇の軽い広がり
OHmouthFunnel丸く開いた形状
OUmouthPuckerきつく丸めた唇

カスタムポーズアセットの作成

Blend Runtime MetaHuman Lip Syncノードで使用するキャラクター用のカスタムポーズアセットを作成するには、以下の手順に従ってください:

1. キャラクターのSkeletal Meshを特定

リップシンクアニメーションに使用したいモーフターゲット(ブレンドシェイプ)を含むスケルタルメッシュを見つけます。これはキャラクターの設計によって、全身メッシュまたは顔のみのメッシュの場合があります。

2. 利用可能なモーフターゲットを確認

リップシンクアニメーション用のビセムとして使用できる適切なモーフターゲットがスケルタルメッシュにあることを確認します。表情アニメーションをサポートするほとんどのキャラクターには、何らかのフォネーム/ビセムモーフターゲットがあるはずです。

キャラクターのモーフターゲット例

3. リファレンスポーズアニメーションを作成

  1. Create Asset -> Create Animation -> Reference Poseに移動
  2. アニメーションシーケンスに説明的な名前を付け、適切な場所に保存
  3. 作成されたAnimation Sequenceが自動的に開き、ループ再生される空のアニメーションが表示されます

リファレンスポーズアセットの作成 リファレンスポーズアセットの命名

  1. 編集を容易にするため、Pauseボタンをクリックしてアニメーション再生を停止

アニメーション再生の一時停止

4. アニメーションシーケンスを編集

  1. Edit in Sequencer -> Edit with FK Control Rigをクリック
  2. Bake to Control Rigダイアログで、設定を変更せずにBake to Control Rigボタンをクリック

FK Control Rigで編集 Control Rigにベイク

  1. エディタはAnimation Modeに切り替わり、Sequencerタブが開きます
  2. View Range End Timeを0016に設定(これによりWorking Range Endも自動的に0016に設定)
  3. スライダーの右端をシーケンサーウィンドウの右端までドラッグ

5. アニメーションカーブの準備

  1. Animation Sequenceアセットに戻り、Curvesリスト内のモーフターゲットを探します(表示されていない場合は、Animation Sequenceアセットを閉じて再度開いてください)
  2. リップシンクに使用したいビジームや口の動きに関連しないモーフターゲットはすべて削除します

6. ビセームマッピングを計画する

キャラクターのビセームをプラグインが必要とするセットにマッチさせるためのマッピング計画を作成します。例:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

すべての必要なビジームに対してキャラクターのビジームセットに完全一致がない場合、マッピングが重複しても問題ありません。

7. 各ビジームをアニメーション化する

  1. 各ビジームについて、関連するモーフターゲットカーブを0.0から1.0までアニメーション化します
  2. 各ビジームアニメーションを異なるフレームで開始します
  3. 自然なビジーム形状を作成するため、必要に応じて追加のカーブ(顎/口の開閉、舌の位置など)を設定します

8. ポーズアセットの作成

  1. Create Asset -> Pose Asset -> Current Animation に移動
  2. ポーズアセットに説明的な名前を付け、適切な場所に保存
  3. 作成されたポーズアセットは自動的に開き、Pose_0Pose_1などのビセムに対応するポーズが表示されます
  4. ビセムの重みをプレビューして、期待通りに動作することを確認

ポーズアセットの作成 ポーズアセットの命名 ビセム付きポーズアセット

9. ポーズアセットの最終調整

  1. 各ポーズの名前を前提条件セクションのビセム名に合わせて変更
  2. 使用されていないポーズを削除

オーディオ処理とブレンディングの設定

ポーズアセットの準備が整ったら、オーディオ処理とブレンディングノードを設定する必要があります:

  1. キャラクターのAnimation Blueprintを探すか作成します
  2. 標準プラグイン設定ガイドで記載されているのと同じ手順で、オーディオ処理とブレンディングを設定します
  3. Blend Runtime MetaHuman Lip Syncノードで、デフォルトのMetaHumanポーズアセットの代わりにカスタムPose Assetを選択します

カスタムポーズアセットの選択

ボディアニメーションとの組み合わせ

Lip Syncを他のボディアニメーションと同時に行いたい場合:

  1. 標準プラグインガイドで記載されているのと同じ手順に従います
  2. MetaHumanのボーン名を使用する代わりに、キャラクターの首スケルトンに正しいボーン名を指定してください

結果

このセットアップを使用したカスタムキャラクターの例:

例1: カスタムキャラクターでのLip sync

例2: 異なるvisemeシステムでのLip sync

例3: 異なるvisemeシステムでのLip sync

Lip syncの品質は、特定のキャラクターとそのvisemeの設定状況に大きく依存します。上記の例は、異なるタイプのカスタムキャラクターと個別のvisemeシステムで動作するプラグインを示しています。