メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync ドキュメント

Runtime MetaHuman Lip Sync は、MetaHuman およびカスタムキャラクターの両方に対して、リアルタイム、オフライン、クロスプラットフォームでのリップシンクを可能にするプラグインです。このプラグインを使用すると、以下のような様々なソースからのオーディオ入力に応じてキャラクターの口唇をアニメーションさせることができます：

このプラグインは内部で、オーディオ入力に基づいてビセーム（音素の視覚的表現）を生成します。テキストではなくオーディオデータを直接扱うため、このプラグインは英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語など、多言語入力をサポートしています。文字通りあらゆる言語がサポートされます。これは、リップシンクが言語固有のテキスト処理ではなく、オーディオの音素から生成されるためです。

標準モデル は 14のビセーム を生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。一方、リアリスティックモデル (MetaHuman キャラクター専用) は、事前定義されたポーズアセットに依存せずに 250のモーフターゲット変更 を生成し、大幅にリアルな顔面アニメーションを実現します。

キャラクター互換性​

その名前に反して、Runtime MetaHuman Lip Sync は MetaHuman 以外の幅広いキャラクターでも動作します：

人気のある商用キャラクターシステム​

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4 (CC3/CC4) キャラクター
  • Mixamo キャラクター
  • ReadyPlayerMe アバター

アニメーション標準サポート​

  • FACS ベースのブレンドシェイプシステム
  • Apple ARKit ブレンドシェイプ標準
  • Preston Blair 音素セット
  • 3ds Max 音素システム
  • 顔の表情用のカスタムモーフターゲットを持つ任意のキャラクター

MetaHuman 以外のキャラクターでプラグインを使用する詳細な手順については、カスタムキャラクター設定ガイド を参照してください。

アニメーションプレビュー​

以下の短いアニメーションをチェックして、プラグインが生成するリップシンクアニメーションの品質を、異なるキャラクタータイプとモデルでご確認ください：

Realistic Lip Sync Example
MetaHumanキャラクターを使用したリアルなモデル
Standard Lip Sync Example
MetaHumanキャラクターを使用した標準モデル
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル

主な機能​

  • マイク入力からのリアルタイム Lip Sync
  • オフライン音声処理のサポート
  • モデル固有のプラットフォームサポートによるクロスプラットフォーム互換性
  • 複数のキャラクターシステムとアニメーション標準のサポート
  • カスタムキャラクターのための柔軟なバイセムマッピング
  • 音声分析によるあらゆる話し言葉のサポート - 普遍的な言語サポート

Lip Sync モデル​

このプラグインは、様々なプロジェクトのニーズに合わせて2つの Lip Sync モデルを提供します：

標準 Lip Sync モデルは、効率的でクロスプラットフォームなパフォーマンスと幅広いキャラクター互換性を提供します：

  • MetaHumans および全てのカスタムキャラクタータイプで動作
  • リアルタイムパフォーマンスに最適化
  • 低いリソース要件
  • ローカル TTS (Runtime Text To Speech プラグイン) との完全な互換性
  • プラットフォームサポート: Windows, Android, Androidベースのプラットフォーム (Meta Quest)
拡張プラグインが必要

標準（高速）モデル を使用するには、追加の拡張プラグインをインストールする必要があります。インストール手順については 前提条件セクション を参照してください。

パフォーマンス、キャラクター互換性、視覚品質、ターゲットプラットフォームに基づいて、プロジェクトの要件に適したモデルを選択できます。

TTS 互換性に関する注意

両モデルとも様々な音声入力方法をサポートしていますが、リアリスティックモデルは ONNX ランタイムの競合により、ローカル TTS との互換性が限られています。リアリスティックモデルでテキスト読み上げ機能を使用する場合は、外部 TTS サービス (OpenAI, ElevenLabs) の利用が推奨されます。

動作の仕組み​

このプラグインは、以下の方法で音声入力を処理します：

  1. 音声データは、指定された チャンネル数 と サンプルレート の float PCMフォーマット として受信されます
  2. プラグインは音声を処理して バイセム (フォネーム) を生成します
  3. これらのバイセムが、キャラクターのポーズアセットを使用して Lip Sync アニメーションを駆動します
  4. アニメーションがリアルタイムでキャラクターに適用されます

クイックスタート​

キャラクターで Lip Sync を有効にするための基本的なセットアップは以下の通りです：

  1. MetaHuman キャラクターの場合は、MetaHuman セットアップガイド に従ってください
  2. カスタムキャラクターの場合は、カスタムキャラクターセットアップガイド に従ってください
  3. オーディオ入力処理をセットアップします (Event Graph 内などで)
  4. Anim Graph 内で Blend Runtime MetaHuman Lip Sync ノードを接続します
  5. オーディオを再生して、キャラクターが話すのを確認しましょう！

追加リソース​

📦 ダウンロード & リンク​

🎥 ビデオチュートリアル​

注目のデモ:​

リアリスティックモデル (高品質) チュートリアル:​

スタンダードモデル チュートリアル:​

一般的なセットアップ:​

💬 サポート​