跳到主要内容

概述

Runtime MetaHuman Lip Sync 文档

Runtime MetaHuman Lip Sync 是一个插件,可为 MetaHuman 和自定义角色实现实时、离线和跨平台的唇形同步。它允许您根据来自各种来源的音频输入为角色嘴唇设置动画,包括:

该插件内部根据音频输入生成视位素(音素的视觉表示)。由于它直接处理音频数据而非文本,因此该插件支持多语言输入,包括但不限于英语、西班牙语、法语、德语、日语、中文、韩语、俄语、意大利语、葡萄牙语、阿拉伯语和印地语。实际上支持任何语言,因为唇形同步是从音频音素生成的,而不是基于特定语言的文本处理。

标准模型 产生 14 个视位素,并使用预定义的姿势资源执行唇形同步动画。相比之下,真实模型(专用于 MetaHuman 角色)生成 250 个变形目标变化,而不依赖预定义的姿势资源,从而产生显著更真实的面部动画。

角色兼容性

尽管名称如此,Runtime MetaHuman Lip Sync 可与远超 MetaHuman 的多种角色一起使用:

流行的商业角色系统

  • Daz Genesis 8/9 角色
  • Reallusion Character Creator 3/4 (CC3/CC4) 角色
  • Mixamo 角色
  • ReadyPlayerMe 虚拟形象

支持的动画标准

  • 基于 FACS 的混合形状系统
  • Apple ARKit 混合形状标准
  • Preston Blair 音素集
  • 3ds Max 音素系统
  • 任何具有用于面部表情的自定义变形目标的角色

有关将插件与非 MetaHuman 角色一起使用的详细说明,请参阅 自定义角色设置指南

动画预览

查看这些简短的动画,了解插件在不同角色类型和模型上产生的唇形同步动画质量:

Realistic Lip Sync Example
使用 MetaHuman 角色的逼真模型
Standard Lip Sync Example
标准模型与 MetaHuman 角色
Custom Character Lip Sync Example
使用自定义角色的标准模型
Custom Character Lip Sync Example
标准模型与自定义角色

主要特性

  • 来自麦克风输入的实时唇形同步
  • 离线音频处理支持
  • 跨平台兼容性,并提供特定于模型的平台支持
  • 支持多种角色系统和动画标准
  • 灵活的自定义角色视素映射
  • 通用语言支持 - 通过音频分析,适用于任何口语

唇形同步模型

该插件提供两种唇形同步模型,以适应不同的项目需求:

标准唇形同步模型提供高效、跨平台的性能,并具有广泛的角色兼容性:

  • 适用于 MetaHumans 和所有自定义角色类型
  • 为实时性能优化
  • 资源需求较低
  • 与本地 TTS(Runtime Text To Speech 插件)完全兼容
  • 平台支持:Windows, Android, 基于 Android 的平台(Meta Quest)
需要扩展插件

要使用标准(更快)模型,您需要安装一个额外的扩展插件。请参阅 先决条件部分 了解安装说明。

您可以根据项目在性能、角色兼容性、视觉质量和目标平台方面的需求,选择合适的模型。

TTS 兼容性说明

虽然两种模型都支持各种音频输入方法,但真实感模型由于 ONNX 运行时冲突,与本地 TTS 的兼容性有限。对于真实感模型的文本转语音功能,推荐使用外部 TTS 服务(OpenAI, ElevenLabs)。

工作原理

该插件按以下方式处理音频输入:

  1. 音频数据以浮点 PCM 格式接收,并带有指定的声道数采样率
  2. 插件处理音频以生成视素
  3. 这些视素驱动角色姿势资产的唇形同步动画
  4. 动画实时应用于角色

快速入门

以下是为您的角色启用唇形同步的基本设置:

  1. 对于 MetaHuman 角色,请遵循 MetaHuman 设置指南
  2. 对于自定义角色,请遵循 自定义角色设置指南
  3. 设置音频输入处理(例如在事件图表中)
  4. 动画图表 中连接 Blend Runtime MetaHuman Lip Sync 节点
  5. 播放音频并观看您的角色说话!

附加资源

📦 下载与链接

🎥 视频教程

特色演示:

真实感模型(高质量)教程:

标准模型教程:

通用设置:

💬 支持