メインコンテンツまでスキップ

プラグイン設定

モデル設定

各再生に対応したリアルなモデル生成器を再現する

「Realistic」および「Mood-Enabled Realistic」モデルで確実に動作させるには、長い無音期間をまたいでジェネレーターを再利用するのではなく、新しいオーディオ再生のたびにジェネレーターを再作成してください。詳細は、トラブルシューティングのジェネレーターの再作成を参照してください。

標準モデル設定

Create Runtime Viseme Generator ノードは、ほとんどのシナリオでうまく機能するデフォルト設定を使用します。設定は、Animation Blueprint のブレンドノードのプロパティを通じて処理されます。

アニメーション・ブループリントの設定オプションについては、以下のリップシンク設定セクションを参照してください。

リアリスティックモデル設定

Create Realistic MetaHuman Lip Sync Generator ノードは、ジェネレーターの動作をカスタマイズできるオプションの Configuration パラメータを受け入れます。

モデルタイプ

モデルタイプ設定は、リアリスティックモデルのどのバージョンを使用するかを決定します:

モデルタイプパフォーマンス視覚品質ノイズ耐性推奨される使用例
高度最適化(デフォルト)最高のパフォーマンス、最も低いCPU使用率良好な品質背景ノイズや非音声音があると、目立つ口の動きが見られる場合がありますクリーンな音声環境、パフォーマンス重視のシナリオ
準最適化良好なパフォーマンス、中程度のCPU使用率高品質ノイズのある音声に対してより高い安定性パフォーマンスと品質のバランス、混合音声環境
オリジナル最新のCPUでのリアルタイム使用に適しています最高品質背景ノイズや非音声音に対して最も安定高品質な制作、ノイズの多い音声環境、最大の精度が必要な場合

パフォーマンス設定

Intra Op Threads: 内部モデル処理操作に使用されるスレッド数を制御します。

  • 0(デフォルト/自動): 自動検出を使用します(通常、利用可能なCPUコアの1/4、最大4)
  • 1-16: スレッド数を手動で指定します。値が大きいほど、マルチコアシステムでのパフォーマンスが向上する可能性がありますが、CPU使用率が高くなります。

Inter Op Threads: 異なるモデル操作の並列実行に使用されるスレッド数を制御します。

  • 0(デフォルト/自動): 自動検出を使用します(通常、利用可能なCPUコアの1/8、最大2)
  • 1-8: スレッド数を手動で指定します。通常、リアルタイム処理のために低く設定されます。

処理チャンクサイズ

処理チャンクサイズは、各推論ステップで処理されるサンプル数を決定します。デフォルト値は160サンプル(16kHzでの10msのオーディオ)です。

  • 値が小さいほど更新頻度が高くなりますが、CPU使用率が増加します
  • 値が大きいほどCPU負荷は軽減されますが、リップシンクの応答性が低下する可能性があります
  • 最適なアライメントには160の倍数を使用することを推奨します

Setting Processing Chunk Size

ムード対応モデル設定

Create Realistic MetaHuman Lip Sync With Mood Generatorノードは、基本的なリアリスティックモデルに加えて、追加の設定オプションを提供します。

基本設定

先読み時間(ミリ秒): リップシンク精度向上のための先読みタイミング(ミリ秒単位)。

  • デフォルト: 80ms
  • 範囲: 20ms〜200ms(20で割り切れる必要があります)
  • 値が大きいほど同期精度は向上しますが、レイテンシーが増加します。

出力タイプ: 生成されるフェイシャルコントロールを制御します。

  • フルフェイス: 眉毛、目、鼻、口、顎、舌を含む全81の顔のコントロール
  • 口のみ: 口、顎、舌に関連するコントロールのみ

パフォーマンス設定: 通常のリアリスティックモデルと同じIntra Op ThreadsおよびInter Op Threads設定を使用します。

ムード設定

利用可能なムード:

  • ニュートラル、ハッピー、サッド、ディスガスト、アンガー、サプライズ、フィアー
  • コンフィデント、エキサイト、ボアード、プレイフル、コンフューズド

ムードの強度: ムードがアニメーションに与える影響の強さを制御します(0.0〜1.0)

ランタイムムードコントロール

ランタイム中に以下の関数を使用してムード設定を調整できます:

  • ムード設定: 現在のムードタイプを変更します
  • ムード強度設定: ムードがアニメーションに与える影響の強さを調整します(0.0〜1.0)
  • ルックアヘッド時間設定: 同期のためのルックアヘッドタイミングを変更します
  • 出力タイプ設定: フルフェイスとマウスのみのコントロールを切り替えます

Mood Configuration

ムード選択ガイド

コンテンツに基づいて適切なムードを選択してください:

Mood最適な用途一般的な強度範囲
ニュートラル一般的な会話、ナレーション、デフォルト状態0.5 - 1.0
ハッピー肯定的な内容、明るい会話、お祝い0.6 - 1.0
悲しみ憂鬱な内容、感動的なシーン、物悲しい瞬間0.5 - 0.9
嫌悪否定的な反応、不快な内容、拒絶0.4 - 0.8
怒り攻撃的な会話、対立するシーン、フラストレーション0.6 - 1.0
驚き予期しない出来事、暴露、衝撃的な反応0.7 - 1.0
恐怖脅迫的な状況、不安、緊張した会話0.5 - 0.9
自信プロフェッショナルなプレゼンテーション、リーダーシップのある会話、断定的な発言0.7 - 1.0
興奮エネルギッシュな内容、発表、熱意のある会話0.8 - 1.0
退屈単調な内容、無関心な会話、疲れた話し方0.3 - 0.7
遊び心カジュアルな会話、ユーモア、軽快なやり取り0.6 - 0.9
困惑質問が多い会話、不確かさ、当惑0.4 - 0.8

アニメーション・ブループリントの設定

リップシンク設定

Blend Runtime MetaHuman Lip Syncノードには、プロパティパネルに設定オプションがあります:

プロパティデフォルト説明
補間速度25リップの動きがビジーム間で遷移する速さを制御します。値が高いほど、遷移が速く、より急激になります。
リセット時間0.2リップシンクがリセットされるまでの時間(秒)です。これは、オーディオが停止した後もリップシンクが継続するのを防ぐのに役立ちます。

笑いアニメーション

また、音声で検出された笑いに動的に反応する笑いアニメーションを追加することもできます。

  1. Blend Runtime MetaHuman Laughter ノードを追加します
  2. RuntimeVisemeGenerator 変数を Viseme Generator ピンに接続します
  3. すでにリップシンクを使用している場合:
    • Blend Runtime MetaHuman Lip Sync ノードの出力を Blend Runtime MetaHuman Laughter ノードの Source Pose に接続します
    • Blend Runtime MetaHuman Laughter ノードの出力を Output PoseResult ピンに接続します
  4. 笑い声のみを使用し、リップシンクを使用しない場合:
    • ソースポーズをBlend Runtime MetaHuman LaughterノードのSource Poseに直接接続します
    • 出力をResultピンに接続します

Blend Runtime MetaHuman Laughter

音声で笑い声が検出されると、キャラクターはそれに応じて動的にアニメーションします。

笑いの設定

Blend Runtime MetaHuman Laughter ノードには、独自の設定オプションがあります:

プロパティデフォルト説明
補間速度25笑いアニメーション間のリップの動きの移行速度を制御します。値が高いほど、移行が速く、より急激になります。
リセット時間0.2笑いがリセットされるまでの時間(秒)です。オーディオが停止した後も笑いが続くのを防ぐのに役立ちます。
最大笑いウェイト0.7笑いアニメーションの最大強度をスケーリングします(0.0 - 1.0)。

注: 笑い声の検出は現在、Standard Modelでのみ利用可能です。

既存のアニメーションとの組み合わせ

ビデオチュートリアル

読むより動画で確認したいですか?この正確なセットアップを解説したビデオチュートリアルをご覧ください。

既存のボディアニメーションやカスタムフェイシャルアニメーションを上書きせずに、リップシンクと笑い声を適用するには:

ボディアニメーション

このセットアップは、フェイス用アニメーションブループリントに適用されます。リップシンクはボディ用アニメーションブループリントの一部ではないためです。カスタムボディアニメーション(例:胴体、腕、その他の体の動き)については、Sequence Player を介してアニメーションシーケンスをボディ用アニメーションブループリントの出力ポーズに直接接続するだけです。そこでの追加セットアップは不要です。

  1. ボディアニメーションと最終出力の間にLayered blend per boneノードを追加します。Use Attached Parentがtrueであることを確認してください。
  2. レイヤー設定を構成します:
    • Layer Setup 配列に1つの項目を追加します
    • レイヤーのBranch Filtersに、以下のBone Nameを持つ3つの項目を追加します:
      • FACIAL_C_FacialRoot
      • FACIAL_C_Neck2Root
      • FACIAL_C_Neck1Root
  3. カスタム顔アニメーションに重要: Curve Blend Option「Use Max Value」 を選択してください。これにより、カスタム顔アニメーション(表情、感情など)がリップシンクの上に適切にレイヤーされます。
  4. 接続を行います:
    • カスタムアニメーション(通常は、目的のアニメーションシーケンスアセットを備えたSequence Player)→ Base Pose入力
    • フェイシャルアニメーション出力(リップシンクや笑い声ノードから)→ Blend Poses 0入力
    • レイヤードブレンドノード → 最終Resultポーズ

Layered Blend Per Bone

モーフターゲットセットの選択

スタンダードモデルはポーズアセットを使用しており、カスタムポーズアセットのセットアップを通じて、あらゆるモーフターゲットの命名規則を本質的にサポートしています。追加の設定は必要ありません。

リップシンク動作の微調整

特定のリップシンクカーブのスケーリング

Modify Curve ノードを使用して、リップシンクによって生成される個々の顔の動きを減衰(または増幅)させることができます。これは、特定のカーブがオーディオコンテンツやキャラクターに対して誇張されすぎている場合に役立ちます。

セットアップ:

  1. リップシンクのブレンドノードの後に、Modify Curveノードを追加します
  2. ノードを右クリックしてAdd Curve Pinを選択し、スケールしたいカーブ名を入力します
  3. ノードのApply ModeプロパティをScaleに設定します
  4. Valueパラメータを設定します:1.0未満の値は動きを減衰させ、1.0を超える値は増幅します(例:0.8 = 20%減少)

一般的にスケーリングされるカーブ:

カーブ名目的適用対象一般的な調整
CTRL_expressions_tongueOut特定の音素における舌の前方突出標準モデル突出を抑えるには0.8
CTRL_expressions_jawOpen顎の開きの範囲リアルなモデル顎の動きを抑えるには0.9

同じModify Curveノードに複数のカーブピンを追加して、複数のカーブを一度にスケールできます。

ムード別ファインチューニング

ムード対応モデルでは、特定の感情表現を微調整できます。

眉のコントロール:

  • CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - 眉の内側を上げる
  • CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - 眉の外側を上げる
  • CTRL_expressions_browDownL / CTRL_expressions_browDownR - 眉を下げる

目の表情コントロール:

  • CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - 目を細める
  • CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - 頬を持ち上げる

モデル比較と選択

モデルの選択について

プロジェクトで使用するリップシンクモデルを選ぶ際には、以下の要素を考慮してください。

検討標準モデルリアリスティックモデルムード対応リアリスティックモデル
キャラクター互換性MetaHumansおよびすべてのカスタムキャラクタータイプMetaHumans(およびARKitキャラクター)MetaHumans(およびARKitキャラクター)
視覚品質効率的なパフォーマンスを備えた良好なリップシンクより自然な口の動きによるリアリズムの向上感情表現によるリアリズムの向上
パフォーマンスモバイル/VRを含むすべてのプラットフォーム向けに最適化より高いリソース要件より高いリソース要件
機能14のバイジーム、笑い声検出81のフェイシャルコントロール、3つの最適化レベル81のフェイシャルコントロール、12のムード、設定可能な出力
プラットフォームサポートWindows、Android、QuestWindows、Mac、iOS、Linux、Android、QuestWindows、Mac、iOS、Linux、Android、Quest
ユースケース一般的なアプリケーション、ゲーム、VR/AR、モバイル映画的な体験、クローズアップインタラクション感情的なストーリーテリング、高度なキャラクターインタラクション

エンジンバージョン互換性

UE 5.2互換性の問題

Unreal Engine 5.2 を使用している場合、UEのリサンプリングライブラリのバグにより、Realistic Modelsが正しく動作しない可能性があります。信頼性の高いリップシンク機能を必要とするUE 5.2ユーザーは、代わりにStandard Modelを使用してください。

この問題はUE 5.2に固有のものであり、他のエンジンバージョンには影響しません。

パフォーマンス推奨事項

  • ほとんどのプロジェクトでは、Standard Model が品質とパフォーマンスの優れたバランスを提供します
  • MetaHumanキャラクターに最高の視覚的忠実度が必要な場合は、Realistic Model を使用してください
  • アプリケーションにとって感情表現の制御が重要な場合は、Mood-Enabled Realistic Model を使用してください
  • モデルを選択する際は、ターゲットプラットフォームのパフォーマンス能力を考慮してください
  • さまざまな最適化レベルをテストして、特定のユースケースに最適なバランスを見つけてください

トラブルシューティング

よくある問題

リアルなモデル向けジェネレーターの再作成: リアルなモデルで信頼性が高く一貫した動作を実現するには、非アクティブ期間の後に新しいオーディオデータを供給するたびに、ジェネレーターを再作成することをお勧めします。これはONNXランタイムの動作によるもので、無音期間後にジェネレーターを再利用すると、リップシンクが機能しなくなる可能性があります。

例えば、再生を開始するたびにリップシンクジェネレーターを再作成できます。たとえば、Play Sound 2Dを呼び出したり、サウンドウェーブの再生とリップシンクを開始する他の方法を使用する場合です。

Recreate Lip Sync Generator On Play Sound

Runtime Text To Speech 統合用プラグインの場所: Runtime MetaHuman Lip Sync を Runtime Text To Speech と一緒に使用する場合(両プラグインとも ONNX Runtime を使用)、プラグインがエンジンの Marketplace フォルダにインストールされていると問題が発生する可能性があります。これを修正するには:

  1. UEインストールフォルダ内の\Engine\Plugins\Marketplace(例:C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace)で両方のプラグインを見つけます
  2. RuntimeMetaHumanLipSyncフォルダとRuntimeTextToSpeechフォルダの両方をプロジェクトのPluginsフォルダに移動します
  3. プロジェクトにPluginsフォルダがない場合は、.uprojectファイルと同じディレクトリに作成します
  4. Unreal Editorを再起動します

これは、エンジンのマーケットプレイスディレクトリから複数のONNX Runtimeベースのプラグインが読み込まれる際に発生する可能性のある互換性の問題に対処します。

パッケージ構成(Windows): パッケージ化したプロジェクトでWindows上でリップシンクが正しく動作しない場合、DevelopmentではなくShippingビルド構成を使用していることを確認してください。Development構成は、パッケージ化されたビルドでリアリスティックモデルのONNXランタイムに問題を引き起こす可能性があります。

これを修正するには:

  1. プロジェクト設定 → パッケージングで、ビルド構成を Shipping に設定します
  2. プロジェクトを再パッケージします

Shipping Configuration

Blueprint専用プロジェクト

一部のBlueprint専用プロジェクトでは、Shipping構成を選択しても、Unreal EngineがDevelopment構成でビルドされる場合があります。これが発生した場合は、少なくとも1つのC++クラス(空でも構いません)を追加して、プロジェクトをC++プロジェクトに変換してください。これを行うには、UEエディタのメニューでツール → 新しいC++クラスに移動し、空のクラスを作成します。これにより、プロジェクトがShipping構成で正しくビルドされるようになります。プロジェクトの機能はBlueprint専用のままで問題ありません。C++クラスは、適切なビルド構成のために必要なだけです。

劣化したリップシンクの応答性: Streaming Sound WaveまたはCapturable Sound Waveを使用しているときに、リップシンクの応答性が時間の経過とともに低下する場合、これはメモリの蓄積が原因である可能性があります。デフォルトでは、新しいオーディオが追加されるたびにメモリが再割り当てされます。この問題を防ぐには、ReleaseMemory関数を定期的に呼び出して蓄積されたメモリを解放してください。たとえば、約30秒ごとなどです。

パフォーマンス最適化:

  • 処理チャンクサイズを、パフォーマンス要件に基づいてリアリスティックモデル用に調整します
  • ターゲットハードウェアに適したスレッド数を使用します
  • フルフェイシャルアニメーションが不要な場合は、ムード対応モデルでMouth Only出力タイプの使用を検討します