概要

Runtime MetaHuman Lip Sync は、MetaHumanおよびカスタムキャラクター向けに、リアルタイム・オフライン・クロスプラットフォームのリップシンクを実現するプラグインです。以下のような様々な音声入力源に応じてキャラクターの唇をアニメーションさせることができます:

• Runtime Audio Importer のキャプチャ可能なサウンドウェーブ経由のマイク入力
• Runtime Text To Speech または Runtime AI Chatbot Integrator からの合成音声
• float PCM形式（浮動小数点サンプルの配列）の任意のオーディオデータ

このプラグインは内部的に、音声入力に基づいてviseme（音素の視覚的表現）を生成し、事前定義されたポーズアセットを使用してリップシンクアニメーションを実行します。

キャラクター互換性

名前にもかかわらず、Runtime MetaHuman Lip Sync はMetaHuman以外の幅広いキャラクターでも動作します:

人気商用キャラクターシステム

• Daz Genesis 8/9 キャラクター
• Reallusion Character Creator 3/4 (CC3/CC4) キャラクター
• Mixamo キャラクター
• ReadyPlayerMe アバター

サポートされるアニメーション標準

• FACSベースのブレンドシェイプシステム
• Apple ARKitブレンドシェイプ標準
• Preston Blair音素セット
• 3ds Max音素システム
• 顔の表情用にカスタムモーフターゲットを持つ任意のキャラクター

非MetaHumanキャラクターでのプラグイン使用に関する詳細な手順については、カスタムキャラクター設定ガイドを参照してください。

アニメーションプレビュー

プラグインによって生成されるリアルタイムリップシンクアニメーションの品質を確認するために、これらの短いアニメーションをご覧ください。このアニメーションは、MetaHumanであろうと、サポートされているシステムのカスタムキャラクターであろうと、任意のサポート対象キャラクターに適用できます。

主な特徴

• マイク入力からのリアルタイムリップシンク
• オフラインオーディオ処理サポート
• クロスプラットフォーム対応: Windows, Android, Meta Quest
• 複数のキャラクターシステムとアニメーション標準のサポート
• カスタムキャラクター向けの柔軟なビセームマッピング

動作原理

このプラグインは以下の手順でオーディオ入力を処理します:

1. オーディオデータが PCMフォーマット（float型）で、指定されたチャンネル数とサンプルレートで受信されます
2. プラグインがオーディオを処理してビセーム（フォネーム）を生成します
3. これらのビセームがキャラクターのポーズアセットを使用してリップシンクアニメーションを駆動します
4. アニメーションがリアルタイムでキャラクターに適用されます

クイックスタート

キャラクターでリップシンクを有効にする基本的な設定手順:

1. MetaHumanキャラクターの場合はMetaHumanセットアップガイドに従ってください
2. カスタムキャラクターの場合はカスタムキャラクターセットアップガイドに従ってください
3. イベントグラフなどでオーディオ入力処理を設定します
4. Anim GraphでBlend Runtime MetaHuman Lip Syncノードを接続します
5. オーディオを再生してキャラクターが話すのを確認しましょう！

追加リソース

• Fabで入手
• 製品ウェブサイト
• デモダウンロード (Windows)
• デモソースファイルダウンロード (UE 5.5)
• Discordサポートサーバー
• ビデオチュートリアル
• カスタム開発: [email protected] (チーム・組織向けのテーラーメイドソリューション)