カスタムキャラクターでプラグインを使用する方法
このガイドでは、非MetaHumanキャラクター向けにRuntime MetaHuman Lip Syncをセットアップする手順を説明します。このプロセスにはアニメーションの概念 とリギングに関する知識が必要です。特定のキャラクターへの実装サポートが必要な場合は、[email protected]までプロフェッショナルサポートにお問い合わせください。
リップシンクモデルに関する重要注意点
⚠️ カスタムキャラクターはStandard（高速）モデルのみサポートされています
Realistic（高品質）モデルはMetaHumanキャラクター専用に設計されており、カスタムキャラクターでは使用できません。このガイド全体で、メインセットアップガイドからStandardモデルの手順を参照してください。
前提条件
開始前に、キャラクターが以下の要件を満たしていることを確認してください：
- 有効なスケルトンを持っている
- 表情用のモーフターゲット（ブレンドシェイプ）を含んでいる
- 理想的には10個以上のビセームを定義するモーフターゲットがある（ビセームが多いほどリップシンク品質が向上）
プラグインでは、キャラクターのモーフターゲットを以下の標準ビセームにマッピングする必要があります：
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
注: キャラクターが異なるビセムセットを持っている場合（その可能性が高い）、各ビセムに対して完全一致は必要ありません。近似値で十分な場合が多く、例えばキャラクターのSHビセムをプラグインのCHビセムにマッピングすることは、これらが密接に関連した後部歯茎音であるため効果的に機能します。
ビセムマッピングリファレンス
一般的なビセムシステムとプラグインが必要とするビセム間のマッピングは以下の通りです:
- Apple ARKit
- FACSベースシステム
- Preston Blairシステム
- 3ds Maxフォネームシステム
- カスタムキャラクター (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)
ARKitは、複数の口形状を含む表情アニメーション用の包括的なブレンドシェイプセットを提供します。以下はそれらをRuntimeMetaHumanLipSyncのビセムにマッピングする方法です:
| RuntimeMetaHumanLipSync ビセム | ARKit 相当 | 備考 |
|---|---|---|
| Sil | mouthClose | ニュートラル/休止位置 |
| PP | mouthPressLeft + mouthPressRight | 両唇音には両方のプレス形状を一緒に使用 |
| FF | lowerLipBiteLeft + lowerLipBiteRight | これらで「f/v」の唇と歯の接触を作成 |
| TH | tongueOut | ARKitは舌の直接制御が可能 |
| DD | jawOpen (軽度) + tongueUp | 軽い顎開きと舌位置を組み合わせ |
| KK | mouthLeft または mouthRight (軽度) | 微妙な口角引きで軟口蓋音を近似 |
| CH | jawOpen (軽度) + mouthFunnel (軽度) | 後部歯茎音用に組み合わせ |
| SS | mouthFrown | 歯擦音用に軽いしかめ面を使用 |
| NN | jawOpen (極軽度) + mouthClose | ほぼ閉じた口に軽い顎開き |
| RR | mouthPucker (軽度) | r音用の微妙な丸め |
| AA | jawOpen + mouthOpen | 広く開いた母音用に組み合わせ |
| E | jawOpen (軽度) + mouthSmile | 中程度開きに軽い笑み |
| IH | mouthSmile (軽度) | 唇の軽い広がり |
| OH | mouthFunnel | 丸く開いた形 状 |
| OU | mouthPucker | きつく丸めた唇 |
FACS（Facial Action Coding System）は、表情動作を記述するためにアクションユニット（AUs）を使用します。多くのプロフェッショナルアニメーションシステムがFACSベースのアプローチを使用:
| RuntimeMetaHumanLipSync ビセム | FACS アクションユニット | 備考 |
|---|---|---|
| Sil | ニュートラル | アクティブなAUなし |
| PP | AU23 + AU24 | 唇押し付け + 唇引き締め |
| FF | AU22 + AU28 | 唇漏斗 + 唇吸い込み |
| TH | AU25 (軽度) + AU27 | 唇離れ + 口伸ばし |
| DD | AU25 + AU16 | 唇離れ + 下唇下げ |
| KK | AU26 + AU14 | 顎落とし + えくぼ |
| CH | AU18 + AU25 | 唇すぼめ + 唇離れ |
| SS | AU20 | 唇伸ばし |
| NN | AU25 (極軽度) | わずかな唇離れ |
| RR | AU18 (軽度) | 軽い唇すぼめ |
| AA | AU27 + AU26 | 口伸ばし + 顎落とし |
| E | AU25 + AU12 | 唇離れ + 口角引き上げ |
| IH | AU12 + AU25 (軽度) | 口角引き上げ + 軽い唇離れ |
| OH | AU27 (軽度) + AU18 | 軽い口伸ばし + 唇すぼめ |
| OU | AU18 + AU26 (軽度) | 唇すぼめ + 軽い顎落とし |
Preston Blairシステムは、口形状に記述的な名前を使用する古典的なアニメーション標準:
| RuntimeMetaHumanLipSync ビセム | Preston Blair | 備考 |
|---|---|---|
| Sil | 休止 | ニュートラルな閉口位置 |
| PP | MBP | 古典的な「MBP」口形状 |
| FF | FV | 下唇に歯を当てた「FV」位置 |
| TH | TH | 舌が前歯に触れる |
| DD | D/T/N | これらの子音用の類似位置 |
| KK | CKG | 硬子音位置 |
| CH | CH/J/SH | これらの音用の軽い口尖らせ |
| SS | S/Z | 軽く開いた歯位置 |
| NN | N/NG/L | D/Tに似るが舌位置が異なる |
| RR | R | R音用の丸めた唇 |
| AA | AI | 大きく開いた口 |
| E | EH | 中程度開き |
| IH | EE | 広げた唇 |
| OH | OH | 丸めた中開き |
| OU | OO | きつく丸めた唇 |
3ds Maxはキャラクタースタジオ用にフォネームベースシステムを使用:
| RuntimeMetaHumanLipSync ビセム | 3ds Max フォネーム | 備考 |
|---|---|---|
| Sil | rest | デフォルト口位置 |
| PP | p_b_m | 直接相当 |
| FF | f_v | 直接相当 |
| TH | th | 直接相当 |
| DD | t_d | 直接相当 |
| KK | k_g | 直接相当 |
| CH | sh_zh_ch | 結合形状 |
| SS | s_z | 直接相当 |
| NN | n_l | これらの音用に結合 |
| RR | r | 直接相当 |
| AA | ah | 開母音 |
| E | eh | 中母音 |
| IH | ee | 狭前母音 |
| OH | oh | 後舌円唇母音 |
| OU | oo | 狭後母音 |
ビセムまたは口ブレンドシェイプ/モーフターゲットを持つカスタムキャラクター（Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMeなど）は、通常、プラグインのビセムシステムに合理的な近似でマッピング可能です。
カスタムポーズアセットの作成
Blend Runtime MetaHuman Lip Syncノードで使用するキャラクター用のカスタムポーズアセットを作成するには、以下の手順に従ってください:
1. キャラクターのSkeletal Meshを特定
リップシンクアニメーションに使用したいモーフターゲット（ブレンドシェイプ）を含むスケルタルメッシュを見つけます。これはキャラクターの設計によって、全身メッシュまたは顔のみのメッシュの場合があります。
2. 利用可能なモーフターゲットを確認
リップシンクアニメーション用のビセムとして使用できる適切なモーフターゲットがスケルタルメッシュにあることを確認します。表情アニメーションをサポートするほとんどのキャラクターには、何らかのフォネーム/ビセムモーフターゲットがあるはずです。
3. リファレンスポーズアニメーションを作成
Create Asset -> Create Animation -> Reference Poseに移動- アニメーションシーケンスに説明的な名前を付け、適切な場所に保存
- 作成されたAnimation Sequenceが自動的に開き、ループ再生される空のアニメーションが表示されます
- 編集を容易にするため、
Pauseボタンをクリックしてアニメーション再生を停止
4. アニメーションシーケンスを編集
Edit in Sequencer->Edit with FK Control RigをクリックBake to Control Rigダイアログで、設定を変更せずにBake to Control Rigボタンをクリック
- エディタは
Animation Modeに切り替わり、Sequencerタブが開きます View Range End Timeを0016に設定（これによりWorking Range Endも自動的に0016に設定）- スライダーの右端をシーケンサーウィンドウの右端までドラッグ
5. アニメーションカーブの準備
- Animation Sequenceアセットに戻り、
Curvesリスト内のモーフターゲットを探します（表示されていない場合は、Animation Sequenceアセットを閉じて再度開いてください） - リップシンクに使用したいビジームや口の動きに関連しないモーフターゲットはすべて削除します
6. ビセームマッピングを計画する
キャラクターのビセームをプラグインが必要とするセットにマッチさせるためのマッピング計画を作成します。例:
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
すべての必要なビジームに対してキャラクターのビジームセットに完全一致がない場合、マッピングが重複しても問題ありません。
7. 各ビジームをアニメーション化する
- 各ビジームについて、関連するモーフターゲットカーブを0.0から1.0までアニメーション化します
- 各ビジームアニメーションを異なるフレームで開始します
- 自然なビジーム形状を作成するため、必要に応じて追加のカーブ（顎/口の開閉、舌の位置など）を設定します
8. ポーズアセットの作成
Create Asset->Pose Asset->Current Animationに移動- ポーズアセットに説明的な名前を付け、適切な場所に保存
- 作成されたポーズアセットは自動的に開き、
Pose_0、Pose_1などのビセムに対応するポーズが表示されます - ビセムの重みをプレビューして、期待通りに動作することを確認
9. ポーズアセットの最終調整
- 各ポーズの名前を前提条件セクションのビセム名に合わせて変更
- 使用されていないポーズを削除
オーディオ処理とブレンディングの設定
ポーズアセットの準備が整ったら、オーディオ処理とブレンディングノードを設定する必要があります:
- キャラクターのAnimation Blueprintを探すか作成します
- 標準プラグイン設定ガイドで記載されているのと同じ手順で、オーディオ処理とブレンディングを設定します
Blend Runtime MetaHuman Lip Syncノードで、デフォルトのMetaHumanポーズアセットの代わりにカスタムPose Assetを選択します
ボディアニメーションとの組み合わせ
Lip Syncを他のボディアニメーションと同時に行いたい場合:
- 標準プラグインガイドで記載されているのと同じ手順に従います
- MetaHumanのボーン名を使用する代わりに、キャラクターの首スケルトンに正しいボーン名を指定してください
結果
このセットアップを使用したカスタムキャラクターの例:
Lip syncの品質は、特定のキャラクターとそのvisemeの設定状況に大きく依存します。上記の例は、異なるタイプのカスタムキャラクターと個別のvisemeシステムで動作するプラグインを示しています。