メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync ドキュメント

Runtime MetaHuman Lip Sync は、MetaHumanおよびカスタムキャラクター向けにリアルタイム、オフライン、クロスプラットフォームのリップシンクを実現するプラグインです。以下のような様々な音声入力に応じてキャラクターの唇をアニメーションさせることが可能です:

このプラグインは内部的にオーディオ入力に基づいてviseme（音素の視覚的表現）を生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。

キャラクター互換性​

名称にもかかわらず、Runtime MetaHuman Lip SyncはMetaHuman以外の幅広いキャラクターでも動作します:

主要な商用キャラクターシステム​

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4 (CC3/CC4) キャラクター
  • Mixamo キャラクター
  • ReadyPlayerMe アバター

サポートするアニメーション標準​

  • FACSベースのブレンドシェイプシステム
  • Apple ARKitブレンドシェイプ標準
  • Preston Blair音素セット
  • 3ds Max音素システム
  • 表情用のカスタムモーフターゲットを持つ任意のキャラクター

非MetaHumanキャラクターでのプラグイン使用に関する詳細な手順は、カスタムキャラクター設定ガイドを参照してください。

アニメーションプレビュー​

異なるキャラクタータイプやモデルでプラグインが生成するリップシンクアニメーションの品質を確認するために、以下の短いアニメーションをご覧ください:

Realistic Lip Sync Example
MetaHumanキャラクターを使用したリアルなモデル
Standard Lip Sync Example
標準モデルとMetaHumanキャラクター
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル
Custom Character Lip Sync Example
カスタムキャラクターを使用した標準モデル

主な機能​

  • マイク入力からのリアルタイムリップシンク
  • オフライン音声処理のサポート
  • クロスプラットフォーム対応: Windows, Android, Meta Quest
  • 複数のキャラクターシステムとアニメーション規格のサポート
  • カスタムキャラクター向けの柔軟なビセームマッピング

リップシンクモデル​

本プラグインでは、プロジェクトのニーズに合わせて2種類のリップシンクモデルを提供しています:

標準リップシンクモデルは、効率的でクロスプラットフォームなパフォーマンスと幅広いキャラクター互換性を提供します:

  • MetaHumansおよびすべてのカスタムキャラクタータイプで動作
  • 全プラットフォーム向けにリアルタイムパフォーマンスを最適化
  • リソース要件が低い
  • ローカルTTS（Runtime Text To Speechプラグイン）との完全互換性
  • モバイルおよびVR/ARアプリケーションに適しています

パフォーマンス、キャラクター互換性、ビジュアル品質のプロジェクト要件に基づいて適切なモデルを選択できます。

TTS互換性に関する注意

両モデルとも様々な音声入力方法をサポートしていますが、リアリスティックモデルはONNXランタイムの競合によりローカルTTSとの互換性が制限されています。リアリスティックモデルでテキスト読み上げ機能を使用する場合は、外部TTSサービス（OpenAI、ElevenLabs）の利用が推奨されます。

動作原理​

本プラグインは音声入力を以下のように処理します:

  1. 音声データはPCMフォーマットのfloat型で、指定されたチャンネル数とサンプルレートで受信されます
  2. プラグインが音声を処理してビセーム（フォネーム）を生成します
  3. これらのビセームがキャラクターのポーズアセットを使用してリップシンクアニメーションを駆動します
  4. アニメーションがリアルタイムでキャラクターに適用されます

クイックスタート​

キャラクターでリップシンクを有効にする基本的なセットアップ手順:

  1. MetaHumanキャラクターの場合はMetaHumanセットアップガイドに従ってください
  2. カスタムキャラクターの場合はカスタムキャラクターセットアップガイドに従ってください
  3. イベントグラフなどで音声入力処理を設定します
  4. Blend Runtime MetaHuman Lip SyncノードをAnim Graphで接続します
  5. 音声を再生してキャラクターが話すのを確認しましょう！

追加リソース​

📦 ダウンロード＆リンク​

🎥 ビデオチュートリアル​

リアリスティックモデル（高品質）チュートリアル:​

標準モデルチュートリアル:​

一般的なセットアップ:​

💬 サポート​