メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Syncは、MetaHumanとカスタムキャラクターの両方に対して、リアルタイム、オフライン、クロスプラットフォームのリップシンクを可能にするプラグインです。さまざまなソースからの音声入力に応じてキャラクターの唇をアニメーション化できます。そのソースには以下が含まれます:

このプラグインは、音声入力に基づいて内部的にviseme（音素の視覚的表現）を生成します。テキストではなく音声データを直接処理するため、このプラグインは英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語を含むがこれらに限定されない多言語入力をサポートしています。リップシンクは言語固有のテキスト処理ではなく音声の音素から生成されるため、文字通りあらゆる言語がサポートされています。

Standard Modelは14のvisemeを生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。対照的に、Realistic Models（MetaHumanおよびARKitベースのキャラクター専用）は、事前定義されたポーズアセットに依存せずに81の顔面コントロール変更を生成し、その結果、はるかにリアルな顔のアニメーションを実現します。

キャラクター互換性​

その名前にもかかわらず、Runtime MetaHuman Lip SyncはMetaHumanだけでなく幅広いキャラクターで動作します：

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4/5（CC3/CC4/CC5）キャラクター
  • Mixamo キャラクター

アニメーション標準対応​

  • FACSベースのブレンドシェイプシステム
  • Apple ARKitブレンドシェイプ標準
  • Preston Blair音素セット
  • 3ds Max音素システム
  • 表情用のカスタムモーフターゲットを持つ任意のキャラクター

Reallusion CC4/CC5 や Daz Genesis 8.1/9 を含む多くの一般的なシステムも、ARKit 標準のブレンドシェイプ名を使用するように変換できます。これにより、これらのキャラクターに対して Realistic Model を使用でき、Standard Model の手動 viseme マッピングの代替として、より高品質な顔アニメーションを利用できます。詳細については、Converting Characters to ARKit Blendshapes を参照してください。

Standard Modelを使用するMetaHuman以外のキャラクターについては、カスタムキャラクター設定ガイドを参照してください。Realistic Modelsを使用するARKitベースのキャラクターについては、モーフターゲットセットの選択を参照してください。

アニメーションプレビュー​

異なるキャラクタータイプやモデルにわたって、このプラグインが生成するリップシンクアニメーションの品質を確認できる短いアニメーションをチェックしてください:

MetaHuman キャラクターを使ったリアルなモデル
MetaHumanキャラクターを使用した標準モデル
カスタムキャラクターを使用した標準モデル
カスタムキャラクターを使用した標準モデル

主な機能​

リップシンクモデル​

プラグインは、さまざまなプロジェクトのニーズに合わせて複数のリップシンクモデルを提供しています:

標準のリップシンクモデルは、幅広いキャラクター互換性を備えた効率的なクロスプラットフォームパフォーマンスを提供します:

  • MetaHumanおよびすべてのカスタムキャラクタータイプに対応
  • リアルタイムパフォーマンスに最適化
  • リソース要件を低減
  • プラットフォーム対応: Windows、Android、Androidベースのプラットフォーム（Meta Questを含む）
拡張プラグインが必要です

Standard Modelを使用するには、追加の拡張プラグインをインストールする必要があります。インストール手順については、前提条件セクションを参照してください。

パフォーマンス、キャラクターの互換性、ビジュアル品質、ターゲットプラットフォーム、機能要件など、プロジェクトの要件に基づいて適切なモデルを選択できます。

仕組み​

プラグインは、以下の方法でオーディオ入力を処理します:

  1. オーディオデータは、指定されたチャンネルとサンプルレートを持つfloat PCM形式として受信されます
  2. プラグインはオーディオを処理し、モデルに応じて顔の制御データまたはvisemeを生成します
  3. ムード対応モデルの場合、感情的なコンテキストが顔のアニメーションに適用されます
  4. アニメーションデータは、キャラクターの顔の動きをリアルタイムで駆動します

パフォーマンスアーキテクチャ​

Runtime MetaHuman Lip SyncはCPUのみの推論を使用し、リアルタイムアプリケーションに適した一貫性のある低遅延のリップシンク結果を提供します。デフォルトでは、プラグインは10ミリ秒ごとにリップシンク処理を実行します（調整可能 - Processing Chunk Size、スレッド数、その他のパフォーマンスパラメータを含むすべての利用可能な設定についてはプラグイン設定を参照してください）。

モデルアーキテクチャの概要​

リップシンクモデルは、メルスペクトログラム分析を通じて音声を処理するコンパクトなトランスフォーマーベースのニューラルネットワークを使用しています。この軽量アーキテクチャは、効率的なCPU推論と最小限のメモリフットプリントでリアルタイムパフォーマンスを実現するために特別に設計されています。

なぜCPU推論なのか?​

リアルタイムリップシンクのような小規模で頻繁な推論操作では、CPU処理の方がGPUよりも優れたレイテンシ特性を提供します。バッチサイズ1、推論間隔10～100msの場合、PCIe転送とカーネル起動によるGPUのオーバーヘッドは、実際の計算時間をしばしば上回ります。さらに、ゲームエンジンではGPUはすでにレンダリング、シェーダー、物理演算で飽和状態にあり、リソース競合が発生して予測不能なレイテンシスパイクを引き起こします。

ハードウェア互換性​

このプラグインは、専用のグラフィックスハードウェアを必要とせず、ほとんどの中位以上のCPUで効率的に動作し、デスクトップ、モバイル、VRプラットフォーム全体でリアルタイムパフォーマンスを提供します。より弱いハードウェアの場合、Model TypeをSemi-OptimizedまたはHighly Optimizedに調整するか、**Processing Chunk Size**を増やすことで、応答性がわずかに低下する代わりにリアルタイムパフォーマンスを維持できます。

クイックスタート​

キャラクターでリップシンクを有効にするための基本的なセットアップは次のとおりです:

  1. MetaHumanキャラクターの場合は、セットアップガイドに従ってください
  2. カスタムキャラクターの場合は、カスタムキャラクターセットアップガイドに従ってください
  3. 好みのリップシンクモデルを選択して設定します
  4. Blueprintでオーディオ入力処理を設定します
  5. Animation Blueprintで適切なリップシンクノードを接続します
  6. オーディオを再生すると、キャラクターが同期してアニメーションするのが確認できます

オプションの目のアニメーション​

このプラグインには、MetaHumanの自動まばたきと視線追跡のためのオプションのヘルパーも含まれています。これらはリップシンクとは独立しており、単独で使用することも、リップシンクの上に重ねて使用することもできます。詳しくは目のアニメーションヘルパーをご覧ください。

追加リソース​

📦 ダウンロードとリンク​

デモプロジェクト：

すぐに使える2つのデモプロジェクトが用意されています - 詳細、ダウンロード、チュートリアルについては専用のデモプロジェクトページをご覧ください:

両方のデモはクロスプラットフォーム（Windows、Mac、Linux、iOS、Android、Meta Quest）で、パッケージビルドと完全なUE 5.6+ソースプロジェクトとして提供されます。

🎥 動画チュートリアル​

注目のデモ:​

リアルなモデル（高品質）チュートリアル:​

標準モデルのチュートリアル:​

一般設定:​

💬 サポート​

  • カスタム開発: [email protected] (チームや組織向けのオーダーメイドソリューション)
Join our Discord
online · support