メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync ドキュメント

Runtime MetaHuman Lip Sync は、MetaHuman とカスタムキャラクターの両方に対して、リアルタイム、オフライン、クロスプラットフォームのリップシンクを実現するプラグインです。以下のような様々なソースからのオーディオ入力に応じて、キャラクターの唇をアニメーションさせることができます：

このプラグインは内部的に、オーディオ入力に基づいてビセーム（音素の視覚的表現）を生成します。テキストではなくオーディオデータを直接扱うため、このプラグインは英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語など、多言語入力をサポートしています。文字通りあらゆる言語がサポートされています。これは、リップシンクが言語固有のテキスト処理ではなく、オーディオの音素から生成されるためです。

標準モデル は 14のビセーム を生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。一方、リアリスティックモデル (MetaHuman キャラクター専用) は、事前定義されたポーズアセットに依存せずに 81の顔面制御変化 を生成し、大幅にリアルな顔面アニメーションを実現します。

キャラクター互換性​

その名前に反して、Runtime MetaHuman Lip Sync は MetaHuman 以外の幅広いキャラクターでも動作します：

人気の商用キャラクターシステム​

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4 (CC3/CC4) キャラクター
  • Mixamo キャラクター
  • ReadyPlayerMe アバター

アニメーション標準サポート​

  • FACS ベースのブレンドシェイプシステム
  • Apple ARKit ブレンドシェイプ標準
  • Preston Blair 音素セット
  • 3ds Max 音素システム
  • 顔の表情用のカスタムモーフターゲットを持つ任意のキャラクター

MetaHuman 以外のキャラクターでプラグインを使用する詳細な手順については、カスタムキャラクターセットアップガイド を参照してください。

アニメーションプレビュー​

これらの短いアニメーションをチェックして、プラグインが生成するリップシンクアニメーションの品質を、異なるキャラクタータイプとモデルでご確認ください：

Realistic Lip Sync Example
MetaHuman キャラクターを使用したリアルなモデル
Standard Lip Sync Example
MetaHuman キャラクターを使用した標準モデル
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル

主な機能​

  • マイク入力からのリアルタイムリップシンク
  • オフラインオーディオ処理のサポート
  • モデル固有のプラットフォームサポートによるクロスプラットフォーム互換性
  • 複数のキャラクターシステムとアニメーション標準のサポート
  • カスタムキャラクターのための柔軟なバイセムマッピング
  • 音声分析によるあらゆる話し言葉のユニバーサル言語サポート
  • 表現力を高める感情を考慮した顔面アニメーション
  • 設定可能な出力タイプ（顔全体または口のみの制御）

リップシンクモデル​

このプラグインは、さまざまなプロジェクトのニーズに合わせて複数のリップシンクモデルを提供します：

標準リップシンクモデルは、効率的でクロスプラットフォームなパフォーマンスと幅広いキャラクター互換性を提供します：

  • MetaHumansおよびすべてのカスタムキャラクタータイプで動作
  • リアルタイムパフォーマンスに最適化
  • 低リソース要件
  • ローカルTTS (Runtime Text To Speech プラグイン) との完全な互換性
  • プラットフォームサポート: Windows, Android, Androidベースのプラットフォーム (Meta Questを含む)
拡張プラグイン必須

標準モデルを使用するには、追加の拡張プラグインをインストールする必要があります。インストール手順については前提条件セクションを参照してください。

パフォーマンス、キャラクター互換性、画質、ターゲットプラットフォーム、機能要件に基づいて、プロジェクトに適したモデルを選択できます。

TTS互換性に関する注意

すべてのモデルが様々なオーディオ入力方法をサポートしていますが、通常のリアリスティックモデルはONNXランタイムの競合により、ローカルTTSとの互換性が限られています。一方、ムード対応リアリスティックモデルはローカルTTSと完全に互換性があります。テキスト読み上げ機能については：

  • スタンダードモデル: すべてのTTSオプション（ローカルおよび外部）と互換性あり
  • リアリスティックモデル: 外部TTSサービスの利用を推奨（OpenAI、ElevenLabs）
  • ムード対応リアリスティックモデル: すべてのTTSオプション（ローカルおよび外部）と互換性あり

動作の仕組み​

このプラグインは、以下の方法でオーディオ入力を処理します：

  1. オーディオデータは、指定されたチャンネル数とサンプルレートでPCMフォーマットのfloatとして受信されます
  2. プラグインはオーディオを処理し、モデルに応じて顔制御データまたはバイセムを生成します
  3. ムード対応モデルでは、感情コンテキストが顔のアニメーションに適用されます
  4. アニメーションデータがリアルタイムでキャラクターの顔の動きを駆動します

クイックスタート​

キャラクターにリップシンクを有効にする基本的なセットアップは以下の通りです：

  1. MetaHumanキャラクターの場合は、セットアップガイドに従ってください
  2. カスタムキャラクターの場合は、カスタムキャラクターセットアップガイドに従ってください
  3. 希望するリップシンクモデルを選択して設定します
  4. Blueprintでオーディオ入力処理をセットアップします
  5. Animation Blueprintで適切なリップシンクノードを接続します
  6. オーディオを再生し、感情を持って話すキャラクターを確認しましょう！

追加リソース​

📦 ダウンロード & リンク​

🎥 ビデオチュートリアル​

注目のデモ：​

リアリスティックモデル（高品質）チュートリアル:​

スタンダードモデル チュートリアル:​

一般セットアップ:​

💬 サポート​