メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync ドキュメント

Runtime MetaHuman Lip Sync は、MetaHuman とカスタムキャラクターの両方に対して、リアルタイム、オフライン、クロスプラットフォームでのリップシンクを可能にするプラグインです。以下のような様々なソースからのオーディオ入力に応じて、キャラクターの唇をアニメーションさせることができます：

このプラグインは内部で、オーディオ入力に基づいてビセム（音素の視覚的表現）を生成します。テキストではなくオーディオデータを直接扱うため、このプラグインは英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語など、多言語入力をサポートしています。文字通りあらゆる言語がサポートされます。これは、リップシンクが言語固有のテキスト処理ではなく、オーディオの音素から生成されるためです。

標準モデルは14のビセムを生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。一方、リアリスティックモデル（MetaHuman キャラクター専用）は、事前定義されたポーズアセットに依存せずに81の顔面制御変化を生成し、大幅にリアルな顔面アニメーションを実現します。

キャラクター互換性​

その名前に反して、Runtime MetaHuman Lip Sync は MetaHuman 以外の幅広いキャラクターでも動作します：

人気の商用キャラクターシステム​

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4 (CC3/CC4) キャラクター
  • Mixamo キャラクター
  • ReadyPlayerMe アバター

アニメーション標準サポート​

  • FACS ベースのブレンドシェイプシステム
  • Apple ARKit ブレンドシェイプ標準
  • Preston Blair 音素セット
  • 3ds Max 音素システム
  • 顔の表情用にカスタムモーフターゲットを持つ任意のキャラクター

MetaHuman 以外のキャラクターでプラグインを使用する詳細な手順については、カスタムキャラクターセットアップガイドを参照してください。

アニメーションプレビュー​

以下の短いアニメーションで、異なるキャラクタータイプとモデルでプラグインが生成するリップシンクアニメーションの品質をご確認ください：

Realistic Lip Sync Example
MetaHumanキャラクターを使用したリアルなモデル
Standard Lip Sync Example
MetaHumanキャラクターを使用した標準モデル
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル

主な機能​

  • マイク入力からのリアルタイムリップシンク
  • オフライン音声処理サポート
  • モデル固有のプラットフォームサポートを備えたクロスプラットフォーム互換性
  • 複数のキャラクターシステムとアニメーション標準のサポート
  • カスタムキャラクターのための柔軟なバイセムマッピング
  • 音声分析によるあらゆる話し言葉のサポート - 普遍的な言語サポート
  • 表現力を高める感情認識型の顔面アニメーション
  • 設定可能な出力タイプ（顔全体または口のみのコントロール）

リップシンクモデル​

このプラグインは、さまざまなプロジェクトのニーズに合わせて複数のリップシンクモデルを提供します：

標準リップシンクモデルは、効率的でクロスプラットフォームなパフォーマンスと幅広いキャラクター互換性を提供します：

  • MetaHumansおよびすべてのカスタムキャラクタータイプで動作
  • リアルタイムパフォーマンスに最適化
  • リソース要件が低い
  • ローカルTTS（Runtime Text To Speechプラグイン）との完全な互換性
  • プラットフォームサポート：Windows、Android、Androidベースのプラットフォーム（Meta Questを含む）
拡張プラグインが必要

標準モデルを使用するには、追加の拡張プラグインをインストールする必要があります。インストール手順については、前提条件セクションを参照してください。

パフォーマンス、キャラクター互換性、視覚的品質、ターゲットプラットフォーム、機能要件に基づいて、プロジェクトに適したモデルを選択できます。

TTS互換性に関する注意

すべてのモデルがさまざまな音声入力方法をサポートしていますが、通常のリアリスティックモデルはONNXランタイムの競合によりローカルTTSとの互換性が限られています。ただし、ムード対応リアリスティックモデルはローカルTTSと完全に互換性があります。テキスト読み上げ機能については：

  • 標準モデル：すべてのTTSオプション（ローカルおよび外部）と互換性あり
  • リアリスティックモデル：外部TTSサービスの推奨（OpenAI、ElevenLabs）
  • ムード対応リアリスティックモデル：すべてのTTSオプション（ローカルおよび外部）と互換性あり

動作の仕組み​

このプラグインは、以下の方法で音声入力を処理します：

  1. 音声データは、指定されたチャンネル数とサンプルレートでPCMフォーマットの浮動小数点数として受信されます
  2. プラグインは音声を処理して、モデルに応じて顔面制御データまたはバイセムを生成します
  3. ムード対応モデルの場合、感情コンテキストが顔面アニメーションに適用されます
  4. アニメーションデータがキャラクターの顔の動きをリアルタイムで駆動します

パフォーマンスアーキテクチャ​

Runtime MetaHuman Lip SyncはCPUのみの推論を使用して、リアルタイムアプリケーションに適した一貫した低遅延のリップシンク結果を提供します。デフォルトでは、プラグインは10ミリ秒ごとにリップシンク処理を実行します（調整可能 - すべての利用可能な設定についてはプラグイン設定を参照してください。これには処理チャンクサイズ、スレッド数、およびその他のパフォーマンスパラメータが含まれます）。

モデルアーキテクチャの概要​

リップシンクモデルは、メルスペクトログラム分析を通じて音声を処理するコンパクトなトランスフォーマーベースのニューラルネットワークを使用しています。この軽量アーキテクチャは、効率的なCPU推論と最小限のメモリフットプリントでリアルタイムパフォーマンスを実現するために特別に設計されています。

CPU推論を使用する理由は？​

リアルタイムリップシンクのような小さく頻繁な推論操作の場合、CPU処理はGPUよりも優れた遅延特性を提供します。バッチサイズ1で10〜100msの推論間隔では、PCIe転送とカーネル起動からのGPUオーバーヘッドが実際の計算時間を超えることがよくあります。さらに、ゲームエンジンではGPUはすでにレンダリング、シェーダー、物理演算で飽和しており、予測不可能な遅延スパイクを引き起こすリソース競合が発生します。

ハードウェア互換性​

このプラグインは、専用のグラフィックスハードウェアを必要とせずに、ほとんどのミドルティア以上のCPUで効率的に動作し、デスクトップ、モバイル、VRプラットフォーム全体でリアルタイムパフォーマンスを提供します。性能の低いハードウェアでは、モデルタイプをセミ最適化または高度に最適化に調整するか、**処理チャンクサイズ**を増やして、応答性がわずかに低下するもののリアルタイムパフォーマンスを維持できます。

クイックスタート​

キャラクターでリップシンクを有効にするための基本的なセットアップは以下の通りです：

  1. MetaHumanキャラクターの場合は、セットアップガイドに従ってください
  2. カスタムキャラクターの場合は、カスタムキャラクターセットアップガイドに従ってください
  3. 希望するリップシンクモデルを選択して設定します
  4. Blueprintで音声入力処理をセットアップします
  5. Animation Blueprintで適切なリップシンクノードを接続します
  6. 音声を再生して、キャラクターが感情を込めて話すのを確認してください！

追加リソース​

📦 ダウンロードとリンク​

🎥 ビデオチュートリアル​

注目のデモ：​

リアリスティックモデル（高品質）チュートリアル：​

標準モデルチュートリアル：​

一般的なセットアップ：​

💬 サポート​