如何使用该插件

本指南将引导您完成为MetaHuman角色设置Runtime MetaHuman Lip Sync的过程。

注意: Runtime MetaHuman Lip Sync同时支持MetaHuman和自定义角色。该插件支持多种角色类型，包括：

• 热门商业角色（Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe等）
• 具有FACS基础混合变形的角色
• 使用ARKit混合变形标准的模型
• 具有Preston Blair音素集的角色
• 3ds Max音素系统
• 任何具有自定义面部表情变形目标的角色

有关设置自定义角色的详细说明，包括上述所有标准的视位映射参考，请参阅自定义角色设置指南。

先决条件

开始之前，请确保：

1. MetaHuman插件已在项目中启用（注意：从UE 5.6开始，此步骤不再需要，因为MetaHuman功能已直接集成到引擎中）
2. 您至少下载了一个MetaHuman角色并在项目中可用
3. 已安装Runtime MetaHuman Lip Sync插件

标准模型扩展插件

如果您计划使用标准（更快）模型，则需要安装扩展插件：

1. 从Google Drive下载Standard Lip Sync Extension插件
2. 将下载的压缩包中的文件夹解压到项目的Plugins文件夹中（如果该文件夹不存在，请创建）
3. 确保您的项目设置为C++项目（即使您没有任何C++代码）
4. 重新构建项目

备注

• 此扩展仅在您想使用标准模型时需要。如果只需要真实模型，可以跳过此步骤。
• 有关如何手动构建插件的更多信息，请参阅构建插件教程

其他插件

• 如果您计划使用音频捕获（例如麦克风输入），请安装Runtime Audio Importer插件。
• 如果您计划使用文本转语音功能：
  • 对于本地TTS，请安装Runtime Text To Speech插件。
  • 对于外部TTS提供商（ElevenLabs、OpenAI），请安装Runtime AI Chatbot Integrator插件。

平台特定配置

Android / Meta Quest 配置

如果您的目标平台是 Android 或 Meta Quest，并且在构建此插件时遇到错误，您需要在项目设置中禁用 x86_64 (x64) Android 架构：

1. 转到 编辑 > 项目设置
2. 导航至 平台 > Android
3. 在 平台 - Android 下的 构建 部分，找到 支持 x86_64 [即 x64] 并确保其已禁用，如下图所示

这是因为该插件目前仅支持 Android / Meta Quest 平台的 arm64-v8a 和 armeabi-v7a 架构。

设置流程

步骤 1：定位并修改面部动画蓝图

UE 5.5 及更早版本（或 UE 5.6+ 中的传统 MetaHumans）

您需要修改一个将用于 MetaHuman 角色面部动画的动画蓝图。默认的 MetaHuman 面部动画蓝图位于：

Content/MetaHumans/Common/Face/Face_AnimBP

您有以下几种实现唇形同步功能的选择：

直接编辑默认资产（最简单选项）

直接打开默认的Face_AnimBP并进行修改。任何更改都会影响所有使用此动画蓝图的MetaHuman角色。

注意： 这种方法虽然方便，但会影响所有使用默认动画蓝图的角色。

创建副本

1. 复制Face_AnimBP并为其指定一个描述性名称
2. 找到您角色的蓝图类（例如，对于角色"Bryan"，路径为Content/MetaHumans/Bryan/BP_Bryan）
3. 打开角色蓝图并找到Face组件
4. 将Anim Class属性更改为您新复制的动画蓝图

注意： 这种方法允许您为特定角色自定义唇形同步，同时保持其他角色不变。

使用自定义动画蓝图

您可以在任何能够访问所需面部骨骼的动画蓝图中实现唇形同步混合：

1. 创建或使用现有的自定义动画蓝图
2. 确保您的动画蓝图适用于包含与默认MetaHuman的Face_Archetype_Skeleton相同面部骨骼的骨架（这是任何MetaHuman角色使用的标准骨架）

注意： 这种方法为您提供了与自定义动画系统集成的最大灵活性。

UE 5.6+ MetaHuman Creator角色

从UE 5.6开始，引入了新的MetaHuman Creator系统，该系统创建的角色不再包含传统的Face_AnimBP资产。对于这些角色，插件提供了一个面部动画蓝图，位于：

Content/LipSyncData/LipSync_Face_AnimBP

:::警告 重要提示 此动画蓝图位于插件的内容文件夹中，每次插件更新时会被覆盖。为防止丢失自定义设置，强烈建议您：

1. 将此资产复制到项目的内容文件夹（例如复制到YourProject/Content/MetaHumans/LipSync_Face_AnimBP）
2. 在角色设置中使用您复制的版本
3. 所有修改都在复制的版本上进行

这样可以确保您的唇形同步配置在插件更新后仍然保留。 :::

使用插件的面部动画蓝图：

1. 找到您的MetaHuman Creator角色蓝图类
2. 打开角色蓝图并找到Face组件
3. 将Anim Class属性更改为插件的LipSync_Face_AnimBP
4. 继续执行步骤2-4来配置Runtime MetaHuman Lip Sync功能

替代选项：

• 使用旧版说明： 如果您正在使用旧版MetaHumans或偏好传统工作流程，仍可按照上述UE 5.5的说明操作
• 创建自定义动画蓝图： 创建您自己的动画蓝图，与MetaHuman Creator的骨骼结构配合使用

注意： 如果您使用UE 5.6+但处理的是旧版MetaHumans（非通过MetaHuman Creator创建），请改用"UE 5.5及更早版本"标签页中的说明。

重要提示： Runtime MetaHuman Lip Sync混合可以在任何动画蓝图资产中实现，只要该资产能够访问包含默认MetaHuman的Face_Archetype_Skeleton中面部骨骼的姿态。您不限于上述选项——这些只是常见的实现方法。

步骤2：事件图表设置

打开您的面部动画蓝图并切换到Event Graph。您需要创建一个生成器来处理音频数据并生成唇形同步动画。

标准（更快）模型

1. 如果尚不存在，添加Event Blueprint Begin Play节点
2. 添加Create Runtime Viseme Generator节点并将其连接到Begin Play事件
3. 将输出保存为变量（例如"VisemeGenerator"）以供图表其他部分使用

真实（更高质量）模型

1. 如果尚不存在，添加Event Blueprint Begin Play节点
2. 添加Create Realistic MetaHuman Lip Sync Generator节点并将其连接到Begin Play事件
3. 将输出保存为变量（例如"RealisticLipSyncGenerator"）以供图表其他部分使用
4. （可选）在Realistic MetaHuman Lip Sync Generator对象上设置Processing Chunk Size

注意： 真实模型专门针对MetaHuman进行了优化 人类角色，不兼容自定义角色类型。

处理块大小配置： 处理块大小决定了每次推理步骤处理的样本数量。默认值为160个样本，对应16kHz音频的10ms（内部处理采样率）。您可以调整此值以平衡更新频率和CPU使用率：

• 较小的值提供更频繁的更新但会增加CPU使用率
• 较大的值降低CPU负载但可能减少唇形同步的响应速度

设置处理块大小：

1. 访问您的Realistic MetaHuman Lip Sync Generator对象
2. 找到Processing Chunk Size属性
3. 设置所需值

建议使用160的倍数值。这与模型的内部处理结构对齐。推荐值包括：

• 160（默认，最小推荐值）
• 320
• 480
• 640
• 等等

默认的160样本处理块大小对应16kHz音频的10ms。使用160的倍数可以保持与这个基本单位的对齐，有助于优化处理效率并保持不同块大小下的一致行为。

模型优化选项

默认情况下，Realistic Model使用量化且高度优化的版本以显著提高性能并降低CPU使用率。但如果您希望优先考虑最高视觉质量而非优化，可以使用原始未优化版本的模型。

使用原始未优化模型：

未来改进

在未来的版本中，将通过设置提供更自动化和用户友好的方式来切换优化和未优化模型。当前方法是临时但有效的解决方案。

切换到原始未优化模型：

1. 下载原始模型：从Google Drive下载
2. 定位插件文件夹在引擎安装目录中：
   • 导航至UE安装目录，然后到Engine\Plugins\Marketplace\
   • 示例（您的路径会不同）：F:\Epic Games\UE_5.6\Engine\Plugins\Marketplace\
   • 查找插件文件夹 - 确切名称取决于引擎版本：
     • 某些引擎版本使用清晰名称如RuntimeMetaHumanLipSync
     • 其他使用混淆名称如RuntimeM879a7d628ddcV1
3. 导航至模型数据文件夹：
   • 进入插件文件夹内的Content\RealisticModelData\
   • 应能找到名为EpicMetaHumanLipSyncCpuModel.uasset的文件
4. 替换模型文件：
   • 解压下载的存档
   • 用存档中的文件替换现有的EpicMetaHumanLipSyncCpuModel.uasset
5. 重启项目使更改生效 性能考量：

模型版本	性能表现	视觉质量	推荐使用场景
优化版（默认）	高性能，CPU占用低	卓越品质	大多数项目、实时应用程序、性能关键场景
原始未优化版	CPU占用较高	最高视觉保真度	影视级制作、离线渲染、当画质是首要考量时

请根据项目性能需求和品质标准选择最适合的版本。

真实模型生成器重建

为了确保真实模型（Realistic Model）可靠稳定运行，必须在每次经过一段静默期后需要输入新音频数据时，重新创建真实MetaHuman唇形同步生成器（Realistic MetaHuman Lip Sync Generator）。这是由于ONNX运行时的行为特性——当生成器在静默期后被重复使用时，可能导致唇形同步失效。

典型场景： 如果您已完成一次TTS唇形同步后停止，稍后需要对新音频再次进行唇形同步时，请新建一个真实MetaHuman唇形同步生成器，而不是复用现有的生成器。

步骤3：设置音频输入处理

您需要根据音频源类型配置相应的处理方法。

麦克风（实时）

此方案实现对着麦克风说话时的实时唇形同步：

标准（高速）模型

1. 使用运行时音频导入器创建可捕获音波
2. 开始捕获音频前，绑定到OnPopulateAudioData委托
3. 在绑定的函数中调用运行时视位生成器（Runtime Viseme Generator）的ProcessAudioData方法
4. 启动麦克风音频捕获

可复用的蓝图节点.

真实（高品质）模型

真实模型采用与标准模型相同的音频处理流程，但使用RealisticLipSyncGenerator变量替代VisemeGenerator。

在标准模型的所有示例中，只需替换以下内容：

• 将VisemeGenerator替换为您的RealisticLipSyncGenerator变量
• 两种模型的函数名称和参数保持完全一致

可复用的蓝图节点。

麦克风（回放）

该方法从麦克风捕获音频，然后通过唇形同步进行回放：

标准（更快）模型

1. 使用 Runtime Audio Importer 创建一个 Capturable Sound Wave
2. 开始从麦克风捕获音频
3. 在回放可捕获音波之前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，调用 Runtime Viseme Generator 的 ProcessAudioData

可复制的节点.

真实（更高品质）模型

真实模型使用与标准模型相同的音频处理流程，但使用 RealisticLipSyncGenerator 变量替代 VisemeGenerator。

在标准模型的所有示例中，只需替换：

• VisemeGenerator 为你的 RealisticLipSyncGenerator 变量
• 函数名称和参数在两个模型之间保持相同

可复制的节点。

注意： 如果想以更小的音频块进行处理以获得更灵敏的唇形同步，可以调整 SetNumSamplesPerChunk 函数中的计算。例如，将采样率除以150（约每6.67毫秒流式传输一次）而不是100（每10毫秒流式传输一次），将提供更频繁的唇形同步更新。

文本转语音（本地）

常规

该方法从文本合成语音并执行唇形同步：

标准（更快）模型

1. 使用 Runtime Text To Speech 从文本生成语音
2. 使用 Runtime Audio Importer 导入合成的音频
3. 在回放导入的音波之前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，调用 Runtime Viseme Generator 的 ProcessAudioData

可复制的节点。

真实感（更高质量）模型

本地TTS兼容性说明

由于ONNX运行时的冲突，Runtime Text To Speech插件提供的本地TTS目前不支持真实感模型。如需在真实感模型中使用文本转语音功能，请考虑使用外部TTS服务（例如通过Runtime AI Chatbot Integrator接入OpenAI或ElevenLabs），或改用标准模型。

注意： 如果您希望处理更小的音频数据块以实现更灵敏的唇形同步，请调整SetNumSamplesPerChunk函数中的计算。例如，将采样率除以150（约每6.67毫秒流式传输一次）而非100（每10毫秒流式传输一次），将提供更频繁的唇形同步更新。

流式处理

此方法使用流式文本转语音合成配合实时唇形同步：

标准（更快）模型

1. 使用Runtime Text To Speech从文本生成流式语音
2. 使用Runtime Audio Importer导入合成音频
3. 在播放流式声波前，绑定到其OnGeneratePCMData委托
4. 在绑定的函数中，调用Runtime Viseme Generator的ProcessAudioData方法

可复用的蓝图节点。

真实感（更高质量）模型

本地TTS兼容性说明

由于ONNX运行时的冲突，Runtime Text To Speech插件提供的本地TTS目前不支持真实感模型。如需在真实感模型中使用文本转语音功能，请考虑使用外部TTS服务（例如通过Runtime AI Chatbot Integrator接入OpenAI或ElevenLabs），或改用标准模型。

注意： 如果您希望处理更小的音频数据块以实现更灵敏的唇形同步，请调整SetNumSamplesPerChunk函数中的计算。例如，将采样率除以150（约每6.67毫秒流式传输一次）而非100（每10毫秒流式传输一次），将提供更频繁的唇形同步更新。

文本转语音（外部API）

常规模式

此方法使用 Runtime AI Chatbot Integrator 插件从AI服务（OpenAI或ElevenLabs）生成合成语音并进行唇形同步：

标准（更快）模型

1. 使用 Runtime AI Chatbot Integrator 通过外部API（OpenAI、ElevenLabs等）从文本生成语音
2. 使用 Runtime Audio Importer 导入合成的音频数据
3. 在播放导入的声波前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，调用 Runtime Viseme Generator 的 ProcessAudioData

可复用的节点。

真实（更高质量）模型

真实模型使用与标准模型相同的音频处理流程，但使用 RealisticLipSyncGenerator 变量而非 VisemeGenerator。

在标准模型的所有示例中，只需替换：

• 将 VisemeGenerator 替换为您的 RealisticLipSyncGenerator 变量
• 函数名称和参数在两种模型间保持完全一致

可复用的节点。

注意： 如果想通过更小的音频块处理来实现更灵敏的唇形同步，请调整 SetNumSamplesPerChunk 函数中的计算。例如，将采样率除以150（约每6.67毫秒流式传输一次）而非100（每10毫秒流式传输一次），将提供更频繁的唇形同步更新。

流式处理

该方法使用 Runtime AI Chatbot Integrator 插件从AI服务（OpenAI或ElevenLabs）生成流式合成语音并进行唇形同步：

标准（更快）模型

1. 使用 Runtime AI Chatbot Integrator 连接流式TTS API（如ElevenLabs流式API）
2. 使用 Runtime Audio Importer 导入合成的音频数据
3. 在播放流式声波前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，调用 Runtime Viseme Generator 的 ProcessAudioData

可复用的节点。

真实（更高质量）模型

真实模型使用与标准模型相同的音频处理流程，但使用 RealisticLipSyncGenerator 变量而非 VisemeGenerator。

在标准模型展示的每个示例中，只需替换：

• VisemeGenerator 为您的 RealisticLipSyncGenerator 变量
• 函数名称和参数在两种模型间保持完全一致

可复用的节点。

注意： 如果想处理更小的音频块以获得更灵敏的唇形同步，请调整 SetNumSamplesPerChunk 函数中的计算。例如，将采样率除以150（约每6.67毫秒流式传输一次）而非100（每10毫秒流式传输一次）将提供更频繁的唇形同步更新。

从音频文件/缓冲区

此方法使用预先录制的音频文件或音频缓冲区进行唇形同步：

标准（更快）模型

1. 使用 Runtime Audio Importer 从磁盘或内存导入音频文件
2. 在播放导入的声波前，绑定到其 OnGeneratePCMData 委托
3. 在绑定的函数中，调用 Runtime Viseme Generator 的 ProcessAudioData
4. 播放导入的声波并观察唇形同步动画

可复制的节点。

真实（更高质量）模型

真实模型使用与标准模型相同的音频处理流程，但使用 RealisticLipSyncGenerator 变量而非 VisemeGenerator。

在标准模型的所有示例中，只需替换：

• VisemeGenerator 替换为您的 RealisticLipSyncGenerator 变量
• 函数名称和参数在两个模型间保持相同

可复制的节点。

注意： 如果想以更小的数据块处理音频数据以获得更灵敏的唇形同步，请调整 SetNumSamplesPerChunk 函数中的计算。例如，将采样率除以150（约每6.67毫秒流式传输）而非100（每10毫秒流式传输），将提供更频繁的唇形同步更新。

自定义音频源

对于自定义音频源，您需要：

标准（更快）模型

1. 浮点PCM格式的音频数据（浮点样本数组）
2. 采样率和声道数
3. 使用这些参数调用 Runtime Viseme Generator 的 ProcessAudioData

以下是来自自定义源的音频流示例：

可复制的节点。

Realistic (Higher Quality) Model

真实感模型采用与标准模型相同的音频处理流程，但使用RealisticLipSyncGenerator变量替代VisemeGenerator。

在标准模型的所有示例中，只需替换以下内容：

• 将VisemeGenerator替换为您的RealisticLipSyncGenerator变量
• 两种模型间的函数名称和参数保持完全一致

可复用的节点蓝图。

注意： 若需通过小音频块处理实现更灵敏的唇形同步，可调整SetNumSamplesPerChunk函数中的计算参数。例如将采样率除以150（约每6.67毫秒流式传输）而非100（每10毫秒流式传输），可获得更频繁的唇形同步更新。

步骤4：动画图表设置

完成事件图表配置后，切换到Anim Graph将生成器连接到角色动画：

唇形同步

Standard (Faster) Model

1. 定位包含MetaHuman面部数据的姿势节点（通常来自Use cached pose 'Body Pose'）
2. 添加Blend Runtime MetaHuman Lip Sync节点
3. 将姿势节点连接到Blend Runtime MetaHuman Lip Sync节点的Source Pose接口
4. 将您的RuntimeVisemeGenerator变量连接到Viseme Generator引脚
5. 将Blend Runtime MetaHuman Lip Sync节点的输出连接到Output Pose的Result引脚

当检测到音频中的唇形同步时，角色将动态生成相应动画：

Realistic (Higher Quality) Model

1. 定位包含MetaHuman面部数据的姿势节点（通常来自Use cached pose 'Body Pose'）
2. 添加Blend Realistic MetaHuman Lip Sync节点
3. 将姿势节点连接到Blend Realistic MetaHuman Lip Sync节点的Source Pose接口
4. 将您的RealisticLipSyncGenerator变量连接到Lip Sync Generator引脚
5. 将Blend Realistic MetaHuman Lip Sync节点的输出连接到Output Pose的Result引脚

真实感模型通过更自然的嘴部运动提供增强的视觉质量：

注意： 真实感模型专为MetaHuman角色设计，不兼容自定义角色类型。

笑声动画

您还可以添加能动态响应音频中检测到的笑声的动画：

1. 添加 Blend Runtime MetaHuman Laughter 节点
2. 将 RuntimeVisemeGenerator 变量连接到 Viseme Generator 引脚
3. 如果已经在使用唇形同步：
   • 将 Blend Runtime MetaHuman Lip Sync 节点的输出连接到 Blend Runtime MetaHuman Laughter 节点的 Source Pose
   • 将 Blend Runtime MetaHuman Laughter 节点的输出连接到 Output Pose 的 Result 引脚
4. 如果仅使用笑声而不使用唇形同步：
   • 直接将源姿势连接到 Blend Runtime MetaHuman Laughter 节点的 Source Pose
   • 将输出连接到 Result 引脚

当音频中检测到笑声时，您的角色将相应地进行动态动画：

与身体动画结合

要在不覆盖现有身体动画的情况下应用唇形同步和笑声：

1. 在身体动画和最终输出之间添加一个 Layered blend per bone 节点。确保 Use Attached Parent 为 true。
2. 配置层级设置：
   • 在 Layer Setup 数组中添加 1 项
   • 为该层级的 Branch Filters 添加 3 项，包含以下 Bone Name：
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. 进行连接：
   • 现有动画（如 BodyPose）→ Base Pose 输入
   • 面部动画输出（来自唇形同步和/或笑声节点）→ Blend Poses 0 输入
   • 分层混合节点 → 最终的 Result 姿势

原理说明： 分支过滤器隔离了面部动画骨骼，使唇形同步和笑声仅与面部动作混合，同时保留原始身体动画。这符合 MetaHuman 面部骨骼结构，确保自然融合。

注意： 唇形同步和笑声功能设计为非破坏性地与您现有的动画设置协同工作。它们仅影响嘴部运动所需的特定面部骨骼，保持其他面部动画不变。这意味着您可以安全地在动画链的任何阶段集成它们——既可以在其他面部动画之前（允许这些动画覆盖唇形同步/笑声），也可以在之后（让唇形同步/笑声叠加在现有动画上）。这种灵活性使您可以将唇形同步和笑声与眨眼、眉毛动作、情感表情和其他面部动画结合使用，而不会产生冲突。

配置

唇形同步配置

标准（更快）模型

Blend Runtime MetaHuman Lip Sync 节点在其属性面板中有以下配置选项：

属性	默认值	描述
插值速度	25	控制嘴型在音素之间转换的快慢。数值越高，转换越迅速且突兀。
重置时间	0.2	唇形同步重置前的持续时间（秒）。用于在音频停止后防止唇形同步继续运作。

真实（更高品质）模型

Blend Realistic MetaHuman Lip Sync 节点在其属性面板中有以下配置选项：

属性	默认值	描述
插值速度	30	控制嘴型在位置之间转换的快慢。数值越高，转换越迅速且突兀。
重置时间	0.2	唇形同步重置前的持续时间（秒）。用于在音频停止后防止唇形同步继续运作。

笑声配置

Blend Runtime MetaHuman Laughter 节点有独立的配置选项：

属性	默认值	描述
插值速度	25	控制嘴型在笑声动画之间转换的快慢。数值越高，转换越迅速且突兀。
重置时间	0.2	笑声重置前的持续时间（秒）。用于在音频停止后防止笑声动画继续运作。
最大笑声权重	0.7	缩放笑声动画的最大强度（0.0 - 1.0）。

选择唇形同步模型

为项目选择唇形同步模型时，请考虑以下因素：

考量因素	标准模型	真实模型
角色兼容性	MetaHumans及所有自定义角色类型	仅限MetaHumans
视觉质量	良好的唇形同步效果与高效性能	增强的真实感，嘴部动作更自然
性能	针对包括移动端/VR在内的所有平台优化	资源需求略高
使用场景	通用应用、游戏、VR/AR、移动端	影视级体验、特写角色互动

引擎版本兼容性

UE 5.2 兼容性问题

如果您使用 Unreal Engine 5.2，真实模型可能因UE重采样库的bug而无法正常工作。UE 5.2用户如需可靠的唇形同步功能，请改用标准模型。

此问题仅影响UE 5.2版本，其他引擎版本不受影响。

对于大多数项目而言，Standard Model（标准模型）在质量与性能之间提供了绝佳的平衡，同时支持最广泛的角色类型。当您需要为MetaHuman角色实现最高视觉保真度，且性能开销并非首要考虑因素时，Realistic Model（真实模型）是最理想的选择。