メインコンテンツまでスキップ

カスタムキャラクターでのプラグイン使用

このガイドでは、非MetaHumanキャラクター向けにRuntime MetaHuman Lip Syncをセットアップする手順を説明します。このプロセスにはアニメーション概念とリギングに関する知識が必要です。特定のキャラクターへの実装サポートが必要な場合は、[email protected]までプロフェッショナルサポートにお問い合わせください。

前提条件

開始前に、以下の要件を満たしていることを確認してください:

  • 有効なスケルトンを持っている
  • 表情用のモーフターゲット(ブレンドシェイプ)が含まれている
  • 理想的には10個以上のビセーム定義用モーフターゲットがある(ビセームが多いほどリップシンク品質が向上)

プラグインでは、キャラクターのモーフターゲットを以下の標準ビセームにマッピングする必要があります:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

注: キャラクターが異なるビセムセットを持っている場合(その可能性が高い)、各ビセムに完全一致は必要ありません。近似値で十分な場合が多く、例えばキャラクターのSHビセムをプラグインのCHビセムにマッピングすることは、これらが密接に関連した後部歯茎音であるため効果的に機能します。

ビセムマッピングリファレンス

一般的なビセムシステムとプラグインが必要とするビセム間のマッピングは以下の通りです:

ARKitは顔アニメーション用の包括的なブレンドシェイプセットを提供しており、複数の口形状を含みます。これらをRuntimeMetaHumanLipSyncのビセムにマッピングする方法:

RuntimeMetaHumanLipSync ビセムARKit 相当備考
SilmouthCloseニュートラル/休止位置
PPmouthPressLeft + mouthPressRight両唇音には両方のプレス形状を併用
FFlowerLipBiteLeft + lowerLipBiteRight「f/v」の唇と歯の接触を作成
THtongueOutARKitは舌の直接制御が可能
DDjawOpen (軽度) + tongueUp軽い顎開きと舌位置を組み合わせ
KKmouthLeft または mouthRight (軽度)口角の微妙な引きで軟口蓋音を近似
CHjawOpen (軽度) + mouthFunnel (軽度)後部歯茎音用に組み合わせ
SSmouthFrown歯擦音用に軽いしかめ面を使用
NNjawOpen (極軽度) + mouthCloseほぼ閉じた口に軽い顎開き
RRmouthPucker (軽度)r音用の微妙な丸め
AAjawOpen + mouthOpen広く開いた母音用に組み合わせ
EjawOpen (軽度) + mouthSmile中程度開きに軽い笑み
IHmouthSmile (軽度)唇の軽い広がり
OHmouthFunnel丸く開いた形状
OUmouthPucker強く丸めた唇

カスタムポーズアセットの作成

Blend Runtime MetaHuman Lip Syncノードで使用するキャラクター用のカスタムポーズアセットを作成するには、以下の手順に従ってください:

1. キャラクターのSkeletal Meshを特定

リップシンクアニメーションに使用したいモーフターゲット(ブレンドシェイプ)を含むスケルタルメッシュを見つけます。これはキャラクターデザインによって、全身メッシュまたは顔メッシュのみの場合があります。

2. 利用可能なモーフターゲットの確認

リップシンクアニメーション用のビセムとして使用できる適切なモーフターゲットがスケルタルメッシュにあることを確認します。顔アニメーションをサポートするほとんどのキャラクターには、何らかのフォネーム/ビセムモーフターゲットがあるはずです。

キャラクターのモーフターゲット例

3. リファレンスポーズアニメーションの作成

  1. Create Asset -> Create Animation -> Reference Poseに移動
  2. アニメーションシーケンスに説明的な名前を付け、適切な場所に保存
  3. 作成されたAnimation Sequenceが自動的に開き、ループ再生される空のアニメーションが表示されます

リファレンスポーズアセットの作成 リファレンスポーズアセットの命名

  1. 編集を容易にするため、Pauseボタンをクリックしてアニメーション再生を停止

アニメーション再生の一時停止

4. アニメーションシーケンスの編集

  1. Edit in Sequencer -> Edit with FK Control Rigをクリック
  2. Bake to Control Rigダイアログで、設定を変更せずにBake to Control Rigボタンをクリック

FK Control Rigでの編集 Control Rigへのベイク

  1. エディタがAnimation Modeに切り替わり、Sequencerタブが開きます
  2. View Range End Timeを0016に設定(Working Range Endも自動的に0016に設定されます)
  3. スライダーの右端をシーケンサーウィンドウの右端までドラッグ

5. アニメーションカーブを準備する

  1. Animation Sequenceアセットに戻り、Curvesリスト内のモーフターゲットを探します(表示されていない場合は、Animation Sequenceアセットを閉じて再度開いてください)
  2. リップシンクに使用したいビジームや口の動きに関連しないモーフターゲットはすべて削除します

6. ビセムマッピングを計画する

キャラクターのビセムをプラグインが必要とするセットにマッチングする計画を作成します。例えば:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

以下のように、原文のフォーマット、改行、空白、マークダウン構造、技術用語を保持しながら日本語に翻訳します:

各ビジームに対して異なるフレームでアニメーションを開始するのが許容されることに注意してください。キャラクターのビジームセットが要求されるすべてのビジームに完全一致しない場合、マッピングが重複しても問題ありません。

7. 各ビジームをアニメートする

  1. 各ビジームについて、関連するモーフターゲットカーブを0.0から1.0までアニメートする
  2. 各ビジームアニメーションを異なるフレームで開始する
  3. 自然なビジーム形状を作成するために必要な追加カーブ(顎/口の開閉、舌の位置など)を設定する

8. ポーズアセットを作成

  1. Create Asset -> Pose Asset -> Current Animation に移動
  2. ポーズアセットに説明的な名前を付け、適切な場所に保存
  3. 作成されたポーズアセットは自動的に開き、Pose_0Pose_1などの各ビジームに対応するポーズが表示されます
  4. ビジームの重みをプレビューして、期待通りに動作することを確認

ポーズアセットの作成 ポーズアセットの命名 ビジーム付きポーズアセット

9. ポーズアセットを完成させる

  1. 各ポーズの名前を前提条件セクションのビジーム名に合わせて変更
  2. 使用されていないポーズを削除

オーディオ処理とブレンディングの設定

ポーズアセットの準備が整ったら、オーディオ処理とブレンディングノードの設定を行う必要があります:

  1. キャラクターのAnimation Blueprintを探すか作成します
  2. 標準プラグイン設定ガイドで記載されているのと同じ手順に従って、オーディオ処理とブレンディングを設定します
  3. Blend Runtime MetaHuman Lip Syncノードで、デフォルトのMetaHumanポーズアセットの代わりにカスタムポーズアセットを選択します

カスタムポーズアセットの選択

ボディアニメーションとの組み合わせ

リップシンクを他のボディアニメーションと同時に行いたい場合:

  1. 標準プラグインガイドに記載されているのと同じ手順に従います
  2. MetaHumanのボーン名を使用する代わりに、キャラクターの首スケルトンに正しいボーン名を指定してください

結果

このセットアップを使用したカスタムキャラクターの例を以下に示します:

例1:カスタムキャラクターでのリップシンク

例2:異なるビジームシステムでのリップシンク

例3:異なるビジームシステムでのリップシンク

リップシンクの品質は、特定のキャラクターとそのビジームの設定状況に大きく依存します。上記の例は、異なるタイプのカスタムキャラクターと独自のビジームシステムでプラグインが動作していることを示しています。