概述
Runtime MetaHuman Lip Sync 是一个插件，可为 MetaHuman 和自定义角色实现实时、离线和跨平台的口型同步。它允许您根据来自各种来源的音频输入驱动角色嘴唇的动画，包括：
- 通过 Runtime Audio Importer 的 可捕获音波 输入的麦克风音频
- 来自 Runtime Text To Speech 或 Runtime AI Chatbot Integrator 的合成语音
- 通过 Runtime Audio Importer 流式传输或导入的 多种格式 音频数据
- 任何浮点 PCM 格式的音频数据（浮点样本数组）
该插件内部根据音频输入生成视位素（音素的视觉表示）。由于它直接处理音频数据而非文本，该插件支持多语言输入，包括但不限于英语、西班牙语、法语、德语、日语、中文、韩语、俄语、意大利语、葡萄牙语、阿拉伯语和印地语。实际上支持任何语言，因为口型同步是从音频音素生成的，而非依赖于特定语言的文本处理。
标准模型 生成 14 个视位素，并使用预定义的姿势资产执行口型同步动画。相比之下，真实感模型（专用于 MetaHuman 和基于 ARKit 的角色）生成 81 个面部控制变化，无需依赖预定义的姿势资产，从而产生显著更真实的面部动画。
角色兼容性
尽管名为 Runtime MetaHuman Lip Sync，但它适用于远超 MetaHuman 的广泛角色范围：
流行的商业角色系统
- Daz Genesis 8/9 角色
- Reallusion Character Creator 3/4 (CC3/CC4) 角色
- Mixamo 角色
- ReadyPlayerMe 虚拟形象
支持的动画标准
- 基于 FACS 的混合变形系统
- Apple ARKit 混合变形标准
- Preston Blair 音素集
- 3ds Max 音素系统
- 任何具有用于面部表情的自定义变形目标的角色
有关将插件与非 MetaHuman 角色一起使用的详细说明，请参阅 自定义角色设置指南。
动画预览
观看这些简短的动画，了解插件在不同角色类型和模型上生成的口型同步动画质量：
主要特性
- 来自麦克风输入的实时唇形同步
- 离线音频处理支持
- 跨平台兼容性，支持特定模型的平台
- 支持多种角色系统和动画标准
- 灵活的自定义角色口型映射
- 通用语言支持 - 通过音频分析适用于任何口语
- 情绪感知的面部动画，增强表现力
- 可配置的输出类型（全脸或仅嘴部控制）
唇形同步模型
该插件提供多种唇形同步模型，以满足不同的项目需求：
- Standard Model
- Realistic Model
- Mood-Enabled Realistic Model
标准唇形同步模型提供高效、跨平台的性能，并具有广泛的角色兼容性：
- 适用于 MetaHumans 和所有自定义角色类型
- 针对实时性能优化
- 资源需求较低
- 平台支持：Windows, Android, Android-based platforms (including Meta Quest)
要使用 Standard Model，您需要安装一个额外的扩展插件。请参阅 先决条件部分 获取安装说明。
逼真唇形同步模型专门为 MetaHuman 角色提供增强的视觉保真度：
- 兼容具有高级面部动画（81个面部控制）的 MetaHuman 和基于 ARKit 的角色
- 更高的视觉质量，嘴部运动更自然
- 性能要求稍高
- 流式音频处理，适用于实时应用
- 适用于电影体验和特写角色互动
- 三个优化级别：原始、半优化和高度优化
- 可配置的变形目标集（参见 Morph Target Set Selection）
- 平台支持：Windows, Mac, iOS, Linux, Android, Android-based platforms (including Meta Quest)
Realistic Model 包含在主插件中，无需任何额外扩展即可使用。
支持情绪的逼真模型为 MetaHuman 角色提供情绪感知的面部动画：
- 兼容具有情绪响应式面部动画（81个面部控制）的 MetaHuman 和基于 ARKit 的角色
- 12 种不同的情绪类型（中性、快乐、悲伤、自信等）
- 可配置的情绪强度（0.0 到 1.0）
- 可调整的预读时间以改善同步（20ms 到 200ms）
- 可选的输出类型：全脸或仅嘴部控制
- 流式音频处理，适用于实时应用
- 可配置的变形目标集（参见 Morph Target Set Selection）
- 平台支持：Windows, Mac, iOS, Linux, Android, Android-based platforms (including Meta Quest)
Mood-Enabled Realistic Model 包含在主插件中，无需任何额外扩展即可使用。
您可以根据项目对性能、角色兼容性、视觉质量、目标平台和功能需求的要求，选择合适的模型。
工作原理
该插件按以下方式处理音频输入：
- 音频数据以浮点 PCM 格式 接收，并带有指定的 声道数 和 采样率
- 插件处理音频以根据模型生成 面部控制数据 或 口型
- 对于支持情绪的模型，将情感上下文应用于面部动画
- 动画数据实时驱动角色的面部运动
性能架构
Runtime MetaHuman Lip Sync 使用仅 CPU 推理 来提供一致、低延迟的唇形同步结果，适用于实时应用。默认情况下，插件每 10 毫秒 执行一次唇形同步处理（可调整 - 请参阅 Plugin Configuration 了解所有可用设置，包括 Processing Chunk Size、thread count 和其他性能参数）。
模型架构概述
唇形同步模型使用紧凑的基于 Transformer 的神经网络，通过梅尔频谱图分析处理音频。这种轻量级架构专为实时性能而设计，具有高效的 CPU 推理和最小的内存占用。
为什么使用 CPU 推理？
对于像实时唇形同步这样的小型、频繁的推理操作，CPU 处理比 GPU 具有更好的延迟特性。在批大小为 1、推理间隔为 10-100 毫秒的情况下，GPU 的 PCIe 传输和内核启动开销通常超过实际计算时间。此外，在游戏引擎中，GPU 已经饱和于渲染、着色器和物理计算，这会产生资源争用，从而引入不可预测的延迟峰值。
硬件兼容性
该插件在大多数中端及更高端的 CPU 上都能高效运行，无需专用图形硬件，可在桌面、移动和 VR 平台上提供实时性能。对于较弱的硬件，您可以将 Model Type 调整为 Semi-Optimized 或 Highly Optimized，或者增加 Processing Chunk Size 以保持实时性能，但响应速度会略有降低。
快速开始
以下是为您的角色启用唇形同步的基本设置：
- 对于 MetaHuman 角色，请遵循 Setup Guide
- 对于自定义角色，请遵循 Custom Character Setup Guide
- 选择并配置您首选的唇形同步模型
- 在您的 Blueprint 中设置音频输入处理
- 在 Animation Blueprint 中连接适当的唇形同步节点
- 播放音频，观看您的角色带着情感说话！
其他资源
📦 下载与链接
演示项目：
- 语音转语音演示（完整 AI 工作流程）：
- 下载打包演示（Windows） ⭐ 新
- 下载源文件（UE 5.6+） ⭐ 新
- 完整的语音识别 + AI 聊天机器人 + TTS + 唇形同步工作流程
- 需要：此插件 + Runtime Audio Importer + Runtime Speech Recognizer + Runtime AI Chatbot Integrator，可选：Runtime Text To Speech
- 基础唇形同步演示：
- 下载打包演示（Windows）
- 下载源文件（UE 5.6+）
- 基础工作流程：麦克风输入、音频文件、TTS
- 需要：此插件 + Runtime Audio Importer，可选：Text To Speech / AI Chatbot
- 标准模型需要一个小型扩展插件（参见 此处）
🎥 视频教程
特色演示：
Realistic Model（高质量）教程：
Standard Model 教程：
通用设置：
💬 支持
- 定制开发： [email protected]（为团队和组织提供量身定制的解决方案）