メインコンテンツまでスキップ

概要

Runtime MetaHuman Lip Sync ドキュメント

Runtime MetaHuman Lip Sync は、MetaHumanとカスタムキャラクターの両方に対して、リアルタイムでオフラインかつクロスプラットフォームなリップシンクを可能にするプラグインです。以下のような様々な音声入力源に応じて、キャラクターの唇をアニメーションさせることができます:

このプラグインは内部的に、音声入力に基づいてビジーム（音素の視覚的表現）を生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。

キャラクター互換性​

その名前に反して、Runtime MetaHuman Lip Sync はMetaHumanだけでなく、幅広いキャラクターで動作します:

人気の商用キャラクターシステム​

  • Daz Genesis 8/9 キャラクター
  • Reallusion Character Creator 3/4 (CC3/CC4) キャラクター
  • Mixamo キャラクター
  • ReadyPlayerMe アバター

アニメーション標準サポート​

  • FACSベースのブレンドシェイプシステム
  • Apple ARKitブレンドシェイプ標準
  • Preston Blair音素セット
  • 3ds Max音素システム
  • 顔の表情用にカスタムモーフターゲットを持つ任意のキャラクター

非MetaHumanキャラクターでプラグインを使用する詳細な手順については、カスタムキャラクターセットアップガイド を参照してください。

アニメーションプレビュー​

プラグインによって生成されるリアルタイムリップシンクアニメーションの品質を確認するために、これらの短いアニメーションをご覧ください。このアニメーションは、MetaHumanであろうと、サポートされているシステムのカスタムキャラクターであろうと、サポートされている任意のキャラクターに適用できます。

Lip Sync Example
Lip Sync Example
Lip Sync Example

主な機能​

  • マイク入力からのリアルタイムリップシンク
  • オフライン音声処理サポート
  • クロスプラットフォーム対応: Windows, Android, Meta Quest
  • 複数のキャラクターシステムとアニメーション標準のサポート
  • カスタムキャラクター向けの柔軟なビセームマッピング

動作原理​

プラグインは以下の手順で音声入力を処理します:

  1. オーディオデータが PCMフォーマット のfloat型で、指定された チャンネル数 と サンプルレート で受信されます
  2. プラグインがオーディオを処理し、ビセーム (フォネーム) を生成します
  3. これらのビセームがキャラクターのポーズアセットを使用してリップシンクアニメーションを駆動します
  4. アニメーションがリアルタイムでキャラクターに適用されます

クイックスタート​

キャラクターでリップシンクを有効にする基本的なセットアップ手順:

  1. MetaHumanキャラクターの場合は MetaHumanセットアップガイド に従ってください
  2. カスタムキャラクターの場合は カスタムキャラクターセットアップガイド に従ってください
  3. イベントグラフなどでオーディオ入力処理を設定します
  4. Anim Graph で Blend Runtime MetaHuman Lip Sync ノードを接続します
  5. オーディオを再生してキャラクターが話すのを確認しましょう！

追加リソース​