概述
Runtime MetaHuman Lip Sync 是一个插件,可为 MetaHuman 和自定义角色实现实时、离线和跨平台的唇形同步。它允许您根据来自各种来源的音频输入为角色嘴唇设置动画,包括:
- 通过 Runtime Audio Importer 的 可捕获声波 的麦克风输入
- 来自 Runtime Text To Speech 或 Runtime AI Chatbot Integrator 的合成语音
- 任何浮点 PCM 格式的音频数据(浮点样本数组)
该插件内部根据音频输入生成视位素(音素的视觉表示)。由于它直接处理音频数据而非文本,因此该插件支持多语言输入,包括但不限于英语、西班牙语、法语、德语、日语、中文、韩语、俄语、意大利语、葡萄牙语、阿拉伯语和印地语。实际上支持任何语言,因为唇形同步是从音频音素生成的,而不是基于特定语言的文本处理。
标准模型 产生 14 个视位素,并使用预定义的姿势资源执行唇形同步动画。相比之下,真实模型(专用于 MetaHuman 角色)生成 250 个变形目标变化,而不依赖预定义的姿势资源,从而产生显著更真实的面部动画。
角色兼容性
尽管名称如此,Runtime MetaHuman Lip Sync 可与远超 MetaHuman 的多种角色一起使用:
流行的商业角色系统
- Daz Genesis 8/9 角色
- Reallusion Character Creator 3/4 (CC3/CC4) 角色
- Mixamo 角色
- ReadyPlayerMe 虚拟形象
支持的动画标准
- 基于 FACS 的混合形状系统
- Apple ARKit 混合形状标准
- Preston Blair 音素集
- 3ds Max 音素系统
- 任何具有用于面部表情的自定义变形目标的角色
有关将插件与非 MetaHuman 角色一起使用的详细说明,请参阅 自定义角色设置指南。
动画预览
查看这些简短的动画,了解插件在不同角色类型和模型上产生的唇形同步动画质量:




主要特性
- 来自麦克风输入的实时唇形同步
- 离线音频处理支持
- 跨平台兼容性,并提供特定于模型的平台支持
- 支持多种角色系统和动画标准
- 灵活的自定义角色视素映射
- 通用语言支持 - 通过音频分析,适用于任何口语
唇形同步模型
该插件提供两种唇形同步模型,以适应不同的项目需求:
- 标准模型
- 真实感模型
标准唇形同步模型提供高效、跨平台的性能,并具有广泛的角色兼容性:
- 适用于 MetaHumans 和所有自定义角色类型
- 为实时性能优化
- 资源需求较低
- 与本地 TTS(Runtime Text To Speech 插件)完全兼容
- 平台支持:Windows, Android, 基于 Android 的平台(Meta Quest)
要使用标准(更快)模型,您需要安装一个额外的扩展插件。请参阅 先决条件部分 了解安装说明。
真实感唇形同步模型为 MetaHuman 角色提供增强的视觉保真度:
- 专用于 MetaHuman,具有高级面部动画
- 更高的视觉质量,嘴部运动更自然
- 性能要求稍高
- 有限的本地 TTS 支持(推荐使用外部 TTS 服务)
- 适用于电影式体验和特写角色互动
- 平台支持:Windows, Mac, iOS, Linux
真实感模型包含在主插件中,使用无需任何额外扩展。
您可以根据项目在性能、角色兼容性、视觉质量和目标平台方面的需求,选择合适的模型。
虽然两种模型都支持各种音频输入方法,但真实感模型由于 ONNX 运行时冲突,与本地 TTS 的兼容性有限。对于真实感模型的文本转语音功能,推荐使用外部 TTS 服务(OpenAI, ElevenLabs)。
工作原理
该插件按以下方式处理音频输入:
- 音频数据以浮点 PCM 格式接收,并带有指定的声道数和采样率
- 插件处理音频以生成视素
- 这些视素驱动角色姿势资产的唇形同步动画
- 动画实时应用于角色
快速入门
以下是为您的角色启用唇形同步的基本设置:
- 对于 MetaHuman 角色,请遵循 MetaHuman 设置指南
- 对于自定义角色,请遵循 自定义角色设置指南
- 设置音频输入处理(例如在事件图表中)
- 在 动画图表 中连接 Blend Runtime MetaHuman Lip Sync 节点
- 播放音频并观看您的角色说话!
附加资源
📦 下载与链接
- 在 Fab 上获取
- 产品网站
- 下载演示(Windows)
- 下载演示源文件(UE 5.6) – 需要此插件 + Runtime Audio Importer,可选:Text To Speech / AI Chatbot。标准模型需要一个小型扩展插件(参见此处)
🎥 视频教程
特色演示:
- 真实感模型演示 – 增强的准确性 ⭐ 新
真实感模型(高质量)教程:
标准模型教程:
通用设置:
💬 支持
- Discord 支持服务器
- 定制开发: [email protected](为团队和组织提供量身定制的解决方案)