カスタムキャラクターでプラグインを使用する方法
このガイドでは、非MetaHumanキャラクター向けにRuntime MetaHuman Lip Syncをセットアップする手順を説明します。このプロセスにはアニメー ションの概念とリギングに関する知識が必要です。特定のキャラクターへの実装サポートが必要な場合は、[email protected]までプロフェッショナルサポートにお問い合わせください。
リップシンクモデルに関する重要な注意点
カスタムキャラクターはStandard(高速)モデルのみサポートされています。
Realistic(高品質)モデルはMetaHumanキャラクター専用に設計されており、カスタムキャラクターでは使用できません。このガイドでは、メインセットアップガイドで参照されているStandardモデルの手順に従ってください。
必須拡張プラグイン: カスタムキャラクターでStandardモデルを使用するには、メインセットアップガイドの前提条件セクションで説明されているStandard Lip Sync Extensionプラグインをインストールする必要があります。
この拡張機能は、本ガイドで説明するすべてのカスタムキャラクター実装に必須です。
前提条件
開始前に、キャラクターが以下の要件を満たしていることを確認してください:
- 有効なスケルトンを持っている
- 表情用のモーフターゲット(ブレンドシェイプ)を含んでいる
- 理想的には10個以上のビセームを定義するモーフターゲットがある(ビセームが多いほどリップシンクの品質が向上)
プラグインでは、キャラクターのモーフターゲットを以下の標準ビセームにマッピングする必要があります:
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
注: キャラクターが異なるビセムセットを持っている場合(これはよくあることです)、各ビセムに完全に一致させる必要はありません。近似値で十分です。例えば、キャラクターのSH
ビセムをプラグインのCH
ビセムにマッピングすることは効果的です。これらは密接に関連した後部歯茎音だからです。
ビセムマッピングリファレンス
一般的なビセムシステムとプラグインが必要とするビセム間のマッピングは以下の通りです:
- Apple ARKit
- FACSベースシステム
- Preston Blair System
- 3ds Max Phoneme System
- Custom Characters (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)
ARKitは、いくつかの口形状を含む、顔のアニメーション用の包括的なブレンドシェイプセットを提供します。以下はそれらをRuntimeMetaHumanLipSyncのビセムにマッピングする方法です:
RuntimeMetaHumanLipSync ビセム | ARKit 相当 | 備考 |
---|---|---|
Sil | mouthClose | ニュートラル/休止位置 |
PP | mouthPressLeft + mouthPressRight | 両唇音には両方のプレス形状を一緒に使用 |
FF | lowerLipBiteLeft + lowerLipBiteRight (または mouthRollLower) | 下唇が上歯に接触、"f"や"v"音の場合 |
TH | tongueOut | ARKitは直接的な舌制御を提供 |
DD | jawOpen (軽度) + tongueUp (舌リグがある場合) | 舌が歯茎に接触; 軽度の顎開き |
KK | mouthLeft または mouthRight (軽度) | 口角の微妙な引きが軟口蓋音を近似 |
CH | jawOpen (軽度) + mouthFunnel (軽度) | 後部歯茎音用に組み合わせる |
SS | mouthFrown | 歯擦音には軽度のしかめ面を使用 |
NN | jawOpen (非常に軽度) + mouthClose | ほぼ閉じた口に軽度の顎開き |
RR | mouthPucker (軽度) | r音用の微妙な丸め |
AA | jawOpen + mouthStretchLeft + mouthStretchRight (または jawOpen + mouthOpen) | "あ"音用の広く開いた口 |
E | jawOpen (軽度) + mouthSmile | 中程度に開いた位置に軽度の微笑み |
IH | mouthSmile (軽度) | 唇のわずかな広がり |
OH | mouthFunnel | 丸く開いた形状 |
OU | mouthPucker | きつく丸めた唇 |
FACS(Facial Action Coding System)は、顔の動きを記述するためにアクションユニット(AUs)を使用します。多くのプロフェッショナルなアニメーションシステムはFACSベースのアプローチを使用しています:
RuntimeMetaHumanLipSync ビセム | FACS アクションユニット | 備考 |
---|---|---|
Sil | Neutral | アクティブなAUなし |
PP | AU23 + AU24 | 唇押し付け + 唇引き締め |
FF | AU22 + AU28 | 唇漏斗 + 唇吸い込み |
TH | AU25 (軽度) + AU27 | 唇離れ + 口伸ばし |
DD | AU25 + AU16 | 唇離れ + 下唇下げ |
KK | AU26 + AU14 | 顎下げ + ディンプラー |
CH | AU18 + AU25 | 唇すぼめ + 唇離れ |
SS | AU20 | 唇伸ばし |
NN | AU25 (非常に軽度) | わずかな唇離れ |
RR | AU18 ( 軽度) | 軽度の唇すぼめ |
AA | AU27 + AU26 | 口伸ばし + 顎下げ |
E | AU25 + AU12 | 唇離れ + 口角引き上げ |
IH | AU12 + AU25 (軽度) | 口角引き上げ + 軽度の唇離れ |
OH | AU27 (軽度) + AU18 | 軽度の口伸ばし + 唇すぼめ |
OU | AU18 + AU26 (軽度) | 唇すぼめ + 軽度の顎下げ |
Preston Blairシステムは、口の形状に説明的な名前を使用する古典的なアニメーション標準です:
RuntimeMetaHumanLipSync Viseme | Preston Blair | 備考 |
---|---|---|
Sil | Rest | 中立の閉じた口の位置 |
PP | MBP | 古典的な「MBP」の口形状 |
FF | FV | 下唇に歯が当たる「FV」位置 |
TH | TH | 前歯に舌が触れる位置 |
DD | D/T/N | これらの子音に似た位置 |
KK | CKG | 硬い子音の位置 |
CH | CH/J/SH | これらの音のための軽い口尖らせ |
SS | S/Z | 軽く開いた歯の位置 |
NN | N/NG/L | D/Tに似ているが舌の位置が異なる |
RR | R | R音のための丸めた唇 |
AA | AI | 大きく開いた口 |
E | EH | 中程度に開いた口 |
IH | EE | 広げた唇 |
OH | OH | 丸めた中程度の開口 |
OU | OO | きつく丸めた唇 |
3ds MaxはCharacter Studio用にフォネームベースのシステムを使用しています:
RuntimeMetaHumanLipSync Viseme | 3ds Max Phoneme | 備考 |
---|---|---|
Sil | rest | デフォルトの口位置 |
PP | p_b_m | 直接対応 |
FF | f_v | 直接対応 |
TH | th | 直接対応 |
DD | t_d | 直接対応 |
KK | k_g | 直接対応 |
CH | sh_zh_ch | 結合形状 |
SS | s_z | 直接対応 |
NN | n_l | これらの音のための結合 |
RR | r | 直接対応 |
AA | ah | 開いた母音 |
E | eh | 中間母音 |
IH | ee | 閉じた前舌母音 |
OH | oh | 後舌円唇母音 |
OU | oo | 閉じた後舌母音 |
ビセームまたは口のブレンドシェイプ/モーフターゲットを持つカスタムキャラクター(Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMeなど)は、通常、プラグインのビセームシステムに合理的な近似でマッピングできます。
カスタムポーズアセットの作成
Blend Runtime MetaHuman Lip Sync
ノードで使用するキャラクター用のカスタムポーズアセットを作成するには、以下の手順に従ってください:
1. キャラクターのSkeletal Meshを特定
リップシンクアニメーションに使用したいモーフターゲット(ブレンドシェイプ)を含むスケルタルメッシュを見つけます。これはキャラクターの設計によって、全身メッシュまたは顔メッシュのいずれかになる場合があります。
2. 利用可能なMorph Targetsを確認
リップシンクアニメーション用のビセームとして使用できる適切なモーフターゲットがスケルタルメッシュにあることを確認してください。顔のアニメーションをサポートするほとんどのキャラクターには、何らかのフォネーム/ビセームモーフターゲットがあるはずです。
3. リファレンスポーズアニメーションを作成
Create Asset -> Create Animation -> Reference Pose
に移動します- アニメーション シーケンスにわかりやすい名前を付け、適切な場所に保存します
- 作成された Animation Sequence は自動的に開き、空のアニメーションがループ再生されます
- 編集しやすくするため、
Pause
ボタンをクリックしてアニメーションの再生を停止します
4. アニメーションシーケンスの編集
Edit in Sequencer
->Edit with FK Control Rig
をクリックしますBake to Control Rig
ダイアログで、設定を変更せずにBake to Control Rig
ボタンをクリックします
- エディタは
Animation Mode
に切り替わり、Sequencer
タブが開きます View Range End Time
を 0016 に設定します(これによりWorking Range End
も自動的に 0016 に設定されます)- スライダーの右端をシーケンサーウィンドウの右端までドラッグします
5. アニメーションカーブの準備
- Animation Sequenceアセットに戻り、
Curves
リスト内のモーフターゲットを探します(表示されていない場合は、Animation Sequenceアセットを閉じて再度開いてください) - リップシンクに使用したいビジームや口の動きに関連しないモーフターゲットはすべて削除します