概述

Runtime MetaHuman Lip Sync 是一个插件，支持 MetaHuman 角色的实时、离线和跨平台唇同步。它允许根据来自各种音频源的输入来动画化角色的嘴唇，包括：

• 通过 Runtime Audio Importer 的 capturable sound wave 的麦克风输入
• 来自 Runtime Text To Speech 的合成语音
• 任何 float PCM 格式的音频数据（浮点样本数组）

插件内部根据音频输入生成发音图（音素的视觉表示），并使用预定义的姿态资源执行唇同步动画。

动画预览

查看这个简短动画，看看插件生成的实时唇同步动画的质量。该动画可以应用于 任何基于 MetaHuman 的角色，无论是默认的 MetaHuman 还是自定义的角色。

主要功能

• 来自麦克风输入的实时唇同步
• 支持离线音频处理
• 跨平台兼容性：Windows，Mac，Android，MetaQuest

工作原理

插件如下处理音频输入：

1. 音频数据以指定通道和采样率的 float PCM 格式接收
2. 插件处理音频以生成发音图（音素）
3. 这些发音图使用 MetaHuman 的姿态资产驱动唇同步动画
4. 动画以实时方式应用于 MetaHuman 角色

快速开始

以下是为 MetaHuman 角色启用唇同步的基本设置：

1. 确保已启用 MetaHuman 插件，并在您的项目中拥有 MetaHuman 角色
2. 修改您的 MetaHuman 的面部动画蓝图
3. 设置音频输入处理（例如在事件图中）
4. 在动画图中连接 Blend Runtime MetaHuman Lip Sync 节点
5. 播放音频并观看您的角色讲话！

有关详细的实现步骤，请参见 如何使用插件 页面。

其他资源

• 在 Fab 上获取
• 下载演示（Windows）
• Discord 支持服务器
• 视频教程
• 自定义开发：[email protected]（为团队和组织量身定制的解决方案）