概要
Runtime MetaHuman Lip Sync は、MetaHumanおよびカスタムキャラクター 向けに、リアルタイム・オフライン・クロスプラットフォームで動作するリップシンクを実現するプラグインです。以下のような様々な音声入力に応じてキャラクターの口唇を動かすことが可能です:
- Runtime Audio Importer のキャプチャ可能なサウンドウェーブ経由のマイク入力
- Runtime Text To Speech または Runtime AI Chatbot Integrator からの合成音声
- float PCM形式(浮動小数点サンプルの配列)の任意のオーディオデータ
本プラグインは内部的に、音声入力に基づいてviseme(音素の視覚的表現)を生成します。テキストではなく音声データを直接処理するため、英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、イタリア語、ポルトガル語、アラビア語、ヒンディー語など、文字通りあらゆる言語をサポートしています。これはリップシンクが言語固有のテキスト処理ではなく、音声の音素から生成されるためです。
Standard Model は 14種類のviseme を生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを行います。一方、Realistic Model(MetaHuman キャラクター専用)は 250のモーフターゲット変化 を生成し、事前定義されたポーズアセットに依存しないため、より現実的な表情アニメーションが可能です。
キャラクター互換性
名称に「MetaHuman」とありますが、Runtime MetaHuman Lip Sync はMetaHuman以外の様々なキャラクターでも動作します:
主要商用キャラクターシステム
- Daz Genesis 8/9 キャラクター
- Reallusion Character Creator 3/4 (CC3/CC4) キャラクター
- Mixamo キャラクター
- ReadyPlayerMe アバター
対応アニメーション規格
- FACSベースのブレンドシェイプシステム
- Apple ARKitブレンドシェイプ標準
- Preston Blair音素セット
- 3ds Max音素システム
- 表情用のカスタムモーフターゲットを持つ任意のキャラクター
MetaHuman以外のキャラクターでの使用方法の詳細については、カスタ ムキャラクター設定ガイドを参照してください。
アニメーションプレビュー
以下の短いアニメーションで、プラグインが生成するリップシンクアニメーションの品質を、異なるキャラクタータイプとモデルでご確認いただけます:




主な機能
- マイク入力からのリアルタイムリップシンク
- オフライン音 声処理のサポート
- クロスプラットフォーム対応: Windows, Android, Meta Quest
- 複数のキャラクターシステムとアニメーション規格のサポート
- カスタムキャラクター向けの柔軟なビセームマッピング
- 音声分析によるあらゆる言語対応 - どの話し言語でも動作
リップシンクモデル
本プラグインでは、プロジェクトのニーズに合わせて2種類のリップシンクモデルを提供しています:
- 標準モデル
- リアリスティックモデル
標準リップシンクモデルは、効率的なクロスプラットフォーム性能と幅広いキャラクター互換性を提供します:
- MetaHumansおよび全てのカスタムキャラクタータイプで動作
- 全プラットフォーム向けにリアルタイム性能を最適化
- 低リソース要件
- ローカルTTS(Runtime Text To Speechプラグイン)との完全互換性
- モバイルやVR/ARアプリケーションに最適
リアリスティックリップシンクモデルは、MetaHumanキャラクター向けに視覚的な忠実度を高めたものです:
- MetaHuman専用の高度な顔面アニメーション
- より自然な口の動きで高画質を実現
- やや高いパフォーマンス要件
- ローカルTTSのサポート制限(外部TTSサービスの利用推奨)
- シネマティック体験やクローズアップキャラクターインタラクションに最適
パフォーマンス、キャラクター互換性、視覚品質に基づいて適切なモデルを選択できます。
両モデルとも様々な音声入力方法をサポートしていますが、リアリスティックモデルはONNXランタイムの競合によりローカルTTSとの互換性が制限されています。リアリスティックモデルでテキスト読み上げ機能を使用する場合は、外部TTSサービス(OpenAI、ElevenLabs)の利用が推奨されます。
動作原理
本プラグインは音声入力を以下のように処理します:
- 音声データがPCMフォーマットのfloat型で、指定されたチャンネル数とサンプルレートで受信される
- プラグインが音声を処理してビセーム(音素)を生成
- これらのビセームがキャラクター のポーズアセットを使用してリップシンクアニメーションを駆動
- アニメーションがリアルタイムでキャラクターに適用される
クイックスタート
キャラクターでリップシンクを有効にする基本的なセットアップ手順:
- MetaHumanキャラクターの場合はMetaHumanセットアップガイドに従う
- カスタムキャラクターの場合はカスタムキャラクターセットアップガイドに従う
- イベントグラフなどで音声入力処理をセットアップ
- Anim GraphでBlend Runtime MetaHuman Lip Syncノードを接続
- 音声を再生してキャラクターが話すのを確認!
追加リソース
📦 ダウンロード&リンク
🎥 ビデオチュートリアル
注目デモ:
- リアリスティックモデルデモ – 高精度版 ⭐ NEW
リアリスティックモデル(高品質)チュートリアル:
- ElevenLabs & OpenAI TTSを使った高品質リップシンク ⭐ NEW
- 高品質ライブマイクリップシンク ⭐ NEW
標準モデルチュートリアル:
一般セットアップ:
💬 サポート
- Discordサポートサーバー
- カスタム開発: [email protected](チーム・組織向けのテーラーメイドソリューション)