メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync は、MetaHuman およびカスタムキャラクターの両方に対して、リアルタイム、オフライン、クロスプラットフォームのリップシンクを可能にするプラグインです。以下のような様々なソースからのオーディオ入力に応じて、キャラクターの唇をアニメーションさせることができます：

このプラグインは内部で、オーディオ入力に基づいてビジーム（音素の視覚的表現）を生成します。テキストではなくオーディオデータを直接扱うため、このプラグインは英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語など、多言語入力をサポートしています。文字通りあらゆる言語がサポートされます。これは、リップシンクが言語固有のテキスト処理ではなく、オーディオの音素から生成されるためです。

標準モデルは14のビジームを生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。一方、リアリスティックモデル（MetaHuman キャラクター専用）は、事前定義されたポーズアセットに依存せずに81の顔面制御変化を生成し、大幅にリアルな顔面アニメーションを実現します。

キャラクター互換性​

その名前に反して、Runtime MetaHuman Lip Sync は MetaHuman 以外の幅広いキャラクターでも動作します：

人気の商用キャラクターシステム​

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4 (CC3/CC4) キャラクター
  • Mixamo キャラクター
  • ReadyPlayerMe アバター

アニメーション標準サポート​

  • FACS ベースのブレンドシェイプシステム
  • Apple ARKit ブレンドシェイプ標準
  • Preston Blair 音素セット
  • 3ds Max 音素システム
  • 顔の表情用にカスタムモーフターゲットを持つ任意のキャラクター

MetaHuman 以外のキャラクターでプラグインを使用する詳細な手順については、カスタムキャラクターセットアップガイドを参照してください。

アニメーションプレビュー​

以下の短いアニメーションで、異なるキャラクタータイプとモデルに対してプラグインが生成するリップシンクアニメーションの品質をご確認ください：

リアルなモデルとMetaHumanキャラクター
標準モデルとMetaHumanキャラクター
カスタムキャラクターを使用した標準モデル
Standard model with custom character

主な機能​

  • マイク入力からのリアルタイムリップシンク
  • オフライン音声処理サポート
  • モデル固有のプラットフォームサポートを備えたクロスプラットフォーム互換性
  • 複数のキャラクターシステムとアニメーション標準のサポート
  • カスタムキャラクター向けの柔軟なバイセムマッピング
  • 音声分析によるあらゆる話し言葉のサポート - 普遍的な言語サポート
  • 表現力を高めるムード対応の顔面アニメーション
  • 設定可能な出力タイプ（顔全体または口のみのコントロール）

Lip Sync Models​

このプラグインは、さまざまなプロジェクトのニーズに合わせて複数のリップシンクモデルを提供します：

標準リップシンクモデルは、効率的でクロスプラットフォームなパフォーマンスと幅広いキャラクター互換性を提供します：

  • MetaHumansおよびすべてのカスタムキャラクタータイプで動作
  • リアルタイムパフォーマンスに最適化
  • リソース要件が低い
  • プラットフォームサポート：Windows、Android、Androidベースのプラットフォーム（Meta Questを含む）
拡張プラグインが必要

Standard Modelを使用するには、追加の拡張プラグインをインストールする必要があります。インストール手順については、前提条件セクションを参照してください。

パフォーマンス、キャラクター互換性、視覚的品質、ターゲットプラットフォーム、機能要件に基づいて、プロジェクトに適したモデルを選択できます。

仕組み​

このプラグインは、以下の方法で音声入力を処理します：

  1. 音声データは、指定されたチャンネル数とサンプルレートでPCMフォーマットの浮動小数点数として受信されます
  2. プラグインは音声を処理して、モデルに応じて顔面制御データまたはバイセムを生成します
  3. ムード対応モデルの場合、感情コンテキストが顔面アニメーションに適用されます
  4. アニメーションデータがキャラクターの顔の動きをリアルタイムで駆動します

パフォーマンスアーキテクチャ​

Runtime MetaHuman Lip SyncはCPUのみの推論を使用して、リアルタイムアプリケーションに適した一貫した低遅延のリップシンク結果を提供します。デフォルトでは、プラグインは10ミリ秒ごとにリップシンク処理を実行します（調整可能 - 利用可能なすべての設定についてはPlugin Configurationを参照してください。Processing Chunk Size、スレッド数、およびその他のパフォーマンスパラメータを含みます）。

モデルアーキテクチャ概要​

リップシンクモデルは、メルスペクトログラム分析を通じて音声を処理するコンパクトなトランスフォーマーベースのニューラルネットワークを使用しています。この軽量アーキテクチャは、効率的なCPU推論と最小限のメモリフットプリントでリアルタイムパフォーマンスを実現するために特別に設計されています。

CPU推論を使用する理由​

リアルタイムリップシンクのような小さく頻繁な推論操作の場合、CPU処理はGPUよりも優れた遅延特性を提供します。バッチサイズ1で10〜100msの推論間隔では、PCIe転送とカーネル起動によるGPUのオーバーヘッドが実際の計算時間を超えることがよくあります。さらに、ゲームエンジンではGPUはすでにレンダリング、シェーダー、物理演算で飽和しており、リソース競合が発生して予測不可能な遅延スパイクを引き起こします。

ハードウェア互換性​

このプラグインは、専用のグラフィックスハードウェアを必要とせずに、ほとんどのミドルティア以上のCPUで効率的に動作し、デスクトップ、モバイル、VRプラットフォーム全体でリアルタイムパフォーマンスを提供します。性能の低いハードウェアでは、Model TypeをSemi-OptimizedまたはHighly Optimizedに調整するか、**Processing Chunk Size**を増やして、応答性がわずかに低下するもののリアルタイムパフォーマンスを維持できます。

クイックスタート​

キャラクターでリップシンクを有効にする基本的なセットアップは次のとおりです：

  1. MetaHumanキャラクターの場合は、Setup Guideに従ってください
  2. カスタムキャラクターの場合は、Custom Character Setup Guideに従ってください
  3. 好みのリップシンクモデルを選択して設定します
  4. Blueprintで音声入力処理をセットアップします
  5. Animation Blueprintで適切なリップシンクノードを接続します
  6. 音声を再生して、キャラクターが感情を込めて話すのを確認してください！

追加リソース​

📦 ダウンロードとリンク​

デモプロジェクト：

🎥 ビデオチュートリアル​

注目のデモ：​

Realistic Model (高品質) チュートリアル：​

Standard Model チュートリアル：​

一般的なセットアップ：​

💬 サポート​

  • カスタム開発： [email protected]（チームおよび組織向けのカスタマイズソリューション）
Join our Discord
online · support