概要
Runtime MetaHuman Lip Sync は、MetaHuman キャラクターのリアルタイム、オフライン、およびクロスプラットフォームでのリップシンクを可能にするプラグインです。このプラグインは、以下のような様々なソースからの音声入力に応じてキャラクターの唇をアニメーション化します。
- Runtime Audio Importer の capturable sound wave 経由でのマイク入力
- Runtime Text To Speech からの合成音声
- float PCM 形式の任意のオーディオデータ（浮動小数点サンプルの配列）
プラグインは内部で音声入力に基づいて visemes（音素の視覚的表現）を生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを行います。
アニメーションプレビュー
この短いアニメーションをチェックして、プラグインにより生成されたリアルタイムリップシンクアニメーションの品質を確認してください。このアニメーションは、デフォルトの MetaHuman でもカスタムキャラクターでも、任意の MetaHuman ベースキャラクター に適用可能です。
主な特徴
- マイク入力からのリアルタイムリップシンク
- オフライン音声処理サポート
- クロスプラットフォーム互換性：Windows、Mac、Android、MetaQuest
仕組み
プラグインは次のように音声入力を処理します。
- 音声データは、指定された チャンネル と サンプルレート を伴う float PCM 形式 で受け取られます
- プラグインが音声を処理して visemes (phonemes) を生成します
- これらの visemes が MetaHuman のポーズアセットを使用してリップシンクアニメーションを駆動します
- アニメーションがリアルタイムで MetaHuman キャラクターに適用されます
クイックスタート
MetaHuman キャラクターでリップシンクを有効にする基本的なセットアップは以下の通りです：
- MetaHuman プラグインが有効で、プロジェクトに MetaHuman キャラクターがいることを確認します
- MetaHuman のフェイスアニメーションブループリントを修正します
- 音声入力処理を設定します（例えば、イベントグラフで）
- Blend Runtime MetaHuman Lip Sync ノードを Anim Graph に接続します
- 音声を再生してキャラクターが話す様子を確認しましょう！
詳細な実装手順については、プラグインの使い方 ページをご覧ください。
追加リソース
- Fabで入手
- デモをダウンロード（Windows）
- Discordサポートサーバー
- ビデオチュートリアル
- カスタム開発: [email protected] (チーム・組織向けのテーラードソリューション)