メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync ドキュメント

Runtime MetaHuman Lip Sync は、MetaHumanおよびカスタムキャラクター向けに、リアルタイム・オフライン・クロスプラットフォームで動作するリップシンクを実現するプラグインです。以下のような様々な音声入力に応じてキャラクターの口唇を動かすことが可能です:

本プラグインは内部的に、音声入力に基づいてviseme（音素の視覚的表現）を生成します。テキストではなく音声データを直接処理するため、英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語など、文字通りあらゆる言語をサポートしています。これはリップシンクが言語固有のテキスト処理ではなく、音声の音素から生成されるためです。

Standard Model は 14種類のviseme を生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを行います。一方、Realistic Model（MetaHuman キャラクター専用）は 250のモーフターゲット変化 を生成し、事前定義されたポーズアセットに依存しないため、より現実的な表情アニメーションが可能です。

キャラクター互換性​

名称に「MetaHuman」とありますが、Runtime MetaHuman Lip Sync はMetaHuman以外の様々なキャラクターでも動作します:

主要商用キャラクターシステム​

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4 (CC3/CC4) キャラクター
  • Mixamo キャラクター
  • ReadyPlayerMe アバター

対応アニメーション規格​

  • FACSベースのブレンドシェイプシステム
  • Apple ARKitブレンドシェイプ標準
  • Preston Blair音素セット
  • 3ds Max音素システム
  • 表情用のカスタムモーフターゲットを持つ任意のキャラクター

MetaHuman以外のキャラクターでの使用方法の詳細については、カスタムキャラクター設定ガイドを参照してください。

アニメーションプレビュー​

以下の短いアニメーションで、プラグインが生成するリップシンクアニメーションの品質を、異なるキャラクタータイプとモデルでご確認いただけます:

Realistic Lip Sync Example
MetaHumanキャラクターを使用したリアルなモデル
Standard Lip Sync Example
MetaHumanキャラクターを使用した標準モデル
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル
Custom Character Lip Sync Example
標準モデルとカスタムキャラクター

主な機能​

  • マイク入力からのリアルタイムリップシンク
  • オフライン音声処理のサポート
  • クロスプラットフォーム対応: Windows, Android, Meta Quest
  • 複数のキャラクターシステムとアニメーション規格のサポート
  • カスタムキャラクター向けの柔軟なビセームマッピング
  • 音声分析によるあらゆる言語対応 - どの話し言語でも動作

リップシンクモデル​

本プラグインでは、プロジェクトのニーズに合わせて2種類のリップシンクモデルを提供しています:

標準リップシンクモデルは、効率的なクロスプラットフォーム性能と幅広いキャラクター互換性を提供します:

  • MetaHumansおよび全てのカスタムキャラクタータイプで動作
  • 全プラットフォーム向けにリアルタイム性能を最適化
  • 低リソース要件
  • ローカルTTS（Runtime Text To Speechプラグイン）との完全互換性
  • モバイルやVR/ARアプリケーションに最適

パフォーマンス、キャラクター互換性、視覚品質に基づいて適切なモデルを選択できます。

TTS互換性に関する注意

両モデルとも様々な音声入力方法をサポートしていますが、リアリスティックモデルはONNXランタイムの競合によりローカルTTSとの互換性が制限されています。リアリスティックモデルでテキスト読み上げ機能を使用する場合は、外部TTSサービス（OpenAI、ElevenLabs）の利用が推奨されます。

動作原理​

本プラグインは音声入力を以下のように処理します:

  1. 音声データがPCMフォーマットのfloat型で、指定されたチャンネル数とサンプルレートで受信される
  2. プラグインが音声を処理してビセーム（音素）を生成
  3. これらのビセームがキャラクターのポーズアセットを使用してリップシンクアニメーションを駆動
  4. アニメーションがリアルタイムでキャラクターに適用される

クイックスタート​

キャラクターでリップシンクを有効にする基本的なセットアップ手順:

  1. MetaHumanキャラクターの場合はMetaHumanセットアップガイドに従う
  2. カスタムキャラクターの場合はカスタムキャラクターセットアップガイドに従う
  3. イベントグラフなどで音声入力処理をセットアップ
  4. Anim GraphでBlend Runtime MetaHuman Lip Syncノードを接続
  5. 音声を再生してキャラクターが話すのを確認！

追加リソース​

📦 ダウンロード＆リンク​

🎥 ビデオチュートリアル​

注目デモ:​

リアリスティックモデル（高品質）チュートリアル:​

標準モデルチュートリアル:​

一般セットアップ:​

💬 サポート​