概述
Runtime MetaHuman Lip Sync 是一款插件，可为 MetaHuman 和自定义角色实现实时、离线且跨平台的口型同步。它允许你根据来自多种来源的音频输入来为角色的嘴唇制作动画，这些来源包括：
- 通过 Runtime Audio Importer 的 可捕获声波 进行麦克风输入
- 来自 Runtime Text To Speech 或 Runtime AI Chatbot Integrator 的合成语音
- 通过 Runtime Audio Importer 以多种格式流式传输或导入的音频数据
- 任何 float PCM 格式的音频数据（浮点采样数组）
该插件会根据音频输入在内部生成视位（音素的视觉表示）。由于它直接处理音频数据而非文本，该插件支持多语言输入，包括但不限于英语、西班牙语、法语、德语、日语、中文、韩语、俄语、意大利语、葡萄牙语、阿拉伯语和印地语。实际上任何语言都受支持，因为口型同步是根据音频音素生成的，而非基于特定语言的文本处理。
标准模型会生成14 个视位，并使用预定义的姿势资产执行唇形同步动画。相比之下，真实感模型（专属于 MetaHuman 和基于 ARKit 的角色）会生成 81 项面部控制变化，且不依赖预定义的姿势资产，从而实现显著更逼真的面部动画。
角色兼容性
尽管名字如此，Runtime MetaHuman Lip Sync 可与 MetaHuman 之外的多种角色配合使用：
热门商业角色系统
- Daz Genesis 8/9 角色
- Reallusion Character Creator 3/4/5（CC3/CC4/CC5）角色
- Mixamo 角色
动画标准支持
- 基于FACS的混合形状系统
- Apple ARKit混合形状标准
- Preston Blair音素集
- 3ds Max音素系统
- 任何具有用于面部表情的自定义变形目标的角色
许多流行系统，包括 Reallusion CC4/CC5 和 Daz Genesis 8.1/9，也可以转换为使用 ARKit 标准 blendshape 名称。这样你就可以为这些角色使用 Realistic Model，借助其更高质量的面部动画，作为 Standard Model 手动 viseme 映射的替代方案。详情请参阅将角色转换为 ARKit Blendshapes。
对于使用标准模型的非 MetaHuman 角色，请参阅自定义角色设置指南。对于使用写实模型的基于 ARKit 的角色，请参阅Morph Target 集选择。
动画预览
查看这些短动画，了解该插件在不同角色类型和模型上生成的唇形同步动画质量：
主要功能
- 从麦克风输入实时进行口型同步
- 支持离线音频处理
- 跨平台兼容性，支持特定平台的模型
- 支持多种角色系统和动画标准
- 为自定义角色提供灵活的视位映射
- 通用语言支持 - 通过音频分析适用于任何口语
- 情绪感知面部动画，增强表现力
- 可配置的输出类型（全脸或仅嘴部控制）
- 可选的眼部动画辅助工具，用于眨眼和视线追踪
口型同步模型
该插件提供多种唇形同步模型，以满足不同项目的需求：
- 标准模型
- 逼真模型
- 支持情绪的真实感模型
标准唇形同步模型提供高效、跨平台的性能，并具有广泛的角色兼容性：
- 适用于 MetaHuman 及所有自定义角色类型
- 针对实时性能进行了优化
- 更低的资源需求
- 平台支持：Windows、Android、基于 Android 的平台（包括 Meta Quest）
要使用标准模型，你需要安装一个额外的扩展插件。有关安装说明，请参阅先决条件部分。
逼真的唇形同步模型专为 MetaHuman 角色提供增强的视觉保真度：
- 兼容 MetaHuman 和基于 ARKit 的角色，支持高级面部动画（81 个面部控制项）
- 更高的视觉质量，嘴部动作更自然
- 性能要求略高
- 面向实时应用的流式音频处理
- 非常适合电影级体验和角色特写互动
- 三种优化级别：Original、Semi-Optimized 和 Highly Optimized
- 可配置的 morph target 集（参见 Morph Target Set Selection）
- 平台支持：Windows、Mac、iOS、Linux、Android、基于 Android 的平台（包括 Meta Quest）
真实感模型已包含在主插件中，无需任何额外扩展即可使用。
支持情绪的真实感模型为 MetaHuman 角色提供情绪感知的面部动画：
- 兼容 MetaHuman 和基于 ARKit 的角色，支持情绪响应式面部动画（81 个面部控制项）
- 12 种不同的情绪类型（中性、开心、悲伤、自信等）
- 可配置的情绪强度（0.0 到 1.0）
- 可调节的前瞻时序以改善同步（20ms 到 200ms）
- 可选择的输出类型：全脸或仅嘴部控制项
- 面向实时应用的流式音频处理
- 可配置的 Morph Target 集（参见 Morph Target 集选择）
- 平台支持：Windows、Mac、iOS、Linux、Android、基于 Android 的平台（包括 Meta Quest）
支持情绪的真实感模型已包含在主插件中，无需任何额外扩展即可使用。
您可以根据项目在性能、角色兼容性、视觉质量、目标平台和功能需求方面的要求，选择合适的模型。
工作原理
该插件按以下方式处理音频输入：
- 音频数据以浮点 PCM 格式接收，并带有指定的声道数和采样率
- 插件会处理音频，根据模型生成面部控制数据或视位
- 对于支持情绪功能的模型，会将情感上下文应用于面部动画
- 动画数据会实时驱动角色的面部动作
性能架构
Runtime MetaHuman Lip Sync 使用纯 CPU 推理，以提供一致、低延迟的口型同步结果，适用于实时应用。默认情况下，该插件每 10 毫秒执行一次口型同步处理（可调整——有关所有可用设置，包括处理块大小、线程数以及其他性能参数，请参阅插件配置）。
模型架构概述
唇同步模型采用紧凑的基于Transformer的神经网络，通过梅尔频谱分析处理音频。这种轻量级架构专为实时性能而设计，具有高效的CPU推理能力和极小的内存占用。
为什么使用 CPU 推理？
对于实时唇形同步这类小型、高频的推理操作，CPU 处理比 GPU 具有更好的延迟特性。在批大小为 1、推理间隔为 10-100ms 的情况下，GPU 因 PCIe 传输和内核启动带来的开销往往超过实际计算时间。此外，在游戏引擎中，GPU 已被渲染、着色器和物理计算占满，造成资源争用，从而引入不可预测的延迟尖峰。
硬件兼容性
该插件在大多数中端及更高端的CPU上都能高效运行，无需专用图形硬件，可在桌面、移动和VR平台上提供实时性能。对于较弱的硬件，你可以将模型类型调整为半优化或高度优化，或增大**处理块大小**，以在响应速度略有降低的情况下保持实时性能。
快速开始
以下是在你的角色上启用口型同步的基本设置：
- 对于 MetaHuman 角色，请遵循设置指南
- 对于自定义角色，请遵循自定义角色设置指南
- 选择并配置您偏好的 Lip Sync 模型
- 在您的 Blueprint 中设置音频输入处理
- 在 Animation Blueprint 中连接相应的 Lip Sync 节点
- 播放音频，观看您的角色同步动画
可选的眼部动画
该插件还包含用于 MetaHuman 自动眨眼和视线追踪的可选辅助功能。这些功能独立于 Lip Sync，可单独使用或叠加在其之上。请参阅眼部动画辅助功能。
其他资源
📦 下载与链接
演示项目：
有两个可直接使用的演示项目——完整详情、下载和操作演示请参见专门的演示项目页面：
- 完整 AI 对话 NPC 工作流 - 语音识别 + LLM 聊天机器人 + TTS + 唇形同步
- 基础唇形同步演示 - 麦克风输入、音频文件、TTS
两个演示均跨平台（Windows、Mac、Linux、iOS、Android、Meta Quest），并以打包构建版本和完整的 UE 5.6+ 源码项目形式提供。
🎥 视频教程
精选演示：
逼真模型（高质量）教程：
- 从音频文件/缓冲区实现高质量唇形同步
- 带情绪控制与本地 TTS 的高质量唇形同步
- 结合 ElevenLabs 与 OpenAI TTS 的高质量唇形同步
- 高质量实时麦克风唇形同步
- 面向 ARKit 角色的高质量唇形同步
- 从远程服务器实现高质量唇形同步
标准模型教程：
通用设置：
💬 支持
- 定制开发： [email protected]（为团队和组织量身定制的解决方案）