概述
Runtime MetaHuman Lip Sync 是一款能够为MetaHuman和自定义角色实现实时、离线和跨平台口型同步的 插件。它允许您根据来自不同音频源的输入驱动角色嘴唇动画,包括:
- 通过 Runtime Audio Importer 的 可捕获声波 获取麦克风输入
- 来自 Runtime Text To Speech 或 Runtime AI Chatbot Integrator 的合成语音
- 任何浮点PCM格式的音频数据(浮点样本数组)
该插件内部会根据音频输入生成视位(音素的视觉表现)。由于直接处理音频数据而非文本,插件支持包括但不限于英语、西班牙语、法语、德语、日语、中文、韩语、俄语、意大利语、葡萄牙语、阿拉伯语和印地语的多语言输入。理论上支持所有语言,因为口型同步是从音频音素生成,而非基于特定语言的文本处理。
标准模型 产生 14种视位,并使用预定义姿势资产执行口型同步动画。而 真实模型(仅限 MetaHuman 角色)会生成 250种变形目标变化,不依赖预定义姿势资产,从而产生更真实的面部动画。
角色兼容性
尽管名称如此,Runtime MetaHuman Lip Sync 实际上兼容远超MetaHuman的多种角色类型: