跳到主要内容

插件配置

模型配置​

标准模型配置​

Create Runtime Viseme Generator 节点使用适用于大多数场景的默认设置。配置通过动画蓝图混合节点属性进行处理。

有关动画蓝图配置选项，请参阅下面的 唇形同步配置 部分。

真实感模型配置​

Create Realistic MetaHuman Lip Sync Generator 节点接受一个可选的 Configuration 参数，允许您自定义生成器的行为：

模型类型​

Model Type 设置决定使用哪个版本的真实感模型：

模型类型性能视觉质量噪声处理推荐使用场景
高度优化 (默认)最高性能，最低 CPU 使用率良好质量在背景噪声或非语音声音下可能显示明显的嘴部运动干净的音频环境，性能关键场景
半优化良好性能，中等 CPU 使用率高质量在嘈杂音频下稳定性更好平衡性能与质量，混合音频条件
原始适用于现代 CPU 上的实时使用最高质量在背景噪声和非语音声音下最稳定高质量制作，嘈杂音频环境，需要最大精度时

性能设置​

Intra Op Threads: 控制用于内部模型处理操作的线程数。

  • 0 (默认/自动): 使用自动检测（通常为可用 CPU 核心数的 1/4，最多 4 个）
  • 1-16: 手动指定线程数。较高的值可能提高多核系统上的性能，但会使用更多 CPU

Inter Op Threads: 控制用于并行执行不同模型操作的线程数。

  • 0 (默认/自动): 使用自动检测（通常为可用 CPU 核心数的 1/8，最多 2 个）
  • 1-8: 手动指定线程数。通常为实时处理保持较低值

处理块大小​

Processing Chunk Size 决定每个推理步骤中处理的样本数。默认值为 160 个样本（在 16kHz 下为 10ms 音频）：

  • 较小的值提供更频繁的更新，但会增加 CPU 使用率
  • 较大的值减少 CPU 负载，但可能降低唇形同步的响应性
  • 建议使用 160 的倍数以获得最佳对齐

设置处理块大小

情绪启用模型配置​

Create Realistic MetaHuman Lip Sync With Mood Generator 节点提供超出基本真实感模型的额外配置选项：

基本配置​

Lookahead Ms: 用于提高唇形同步准确性的前瞻时间（毫秒）。

  • 默认: 80ms
  • 范围: 20ms 至 200ms（必须能被 20 整除）
  • 较高的值提供更好的同步性，但会增加延迟

Output Type: 控制生成哪些面部控制。

  • Full Face: 所有 81 个面部控制（眉毛、眼睛、鼻子、嘴巴、下巴、舌头）
  • Mouth Only: 仅与嘴巴、下巴和舌头相关的控制

Performance Settings: 使用与常规真实感模型相同的 Intra Op Threads 和 Inter Op Threads 设置。

情绪设置​

可用情绪:

  • Neutral, Happy, Sad, Disgust, Anger, Surprise, Fear
  • Confident, Excited, Bored, Playful, Confused

Mood Intensity: 控制情绪影响动画的强度（0.0 到 1.0）

运行时情绪控制​

您可以在运行时使用以下函数调整情绪设置：

  • Set Mood: 更改当前情绪类型
  • Set Mood Intensity: 调整情绪影响动画的强度（0.0 到 1.0）
  • Set Lookahead Ms: 修改同步的前瞻时间
  • Set Output Type: 在 Full Face 和 Mouth Only 控制之间切换

情绪配置

情绪选择指南​

根据您的内容选择适当的情绪：

情绪最适合典型强度范围
Neutral一般对话、旁白、默认状态0.5 - 1.0
Happy积极内容、愉快的对话、庆祝活动0.6 - 1.0
Sad忧郁内容、情感场景、悲伤时刻0.5 - 0.9
Disgust负面反应、令人反感的内容、拒绝0.4 - 0.8
Anger攻击性对话、对抗性场景、挫败感0.6 - 1.0
Surprise意外事件、启示、震惊反应0.7 - 1.0
Fear威胁性情况、焦虑、紧张的对话0.5 - 0.9
Confident专业演示、领导力对话、自信的演讲0.7 - 1.0
Excited充满活力的内容、公告、热情的对话0.8 - 1.0
Bored单调的内容、不感兴趣的对话、疲倦的讲话0.3 - 0.7
Playful随意对话、幽默、轻松的互动0.6 - 0.9
Confused问题密集的对话、不确定性、困惑0.4 - 0.8

动画蓝图配置​

唇形同步配置​

Blend Runtime MetaHuman Lip Sync 节点在其属性面板中有配置选项：

属性默认值描述
Interpolation Speed25控制嘴部运动在音素之间过渡的速度。较高的值导致更快、更突然的过渡。
Reset Time0.2唇形同步重置前的持续时间（秒）。这对于防止音频停止后唇形同步继续很有用。

笑声动画​

您还可以添加笑声动画，这些动画将动态响应音频中检测到的笑声：

  1. 添加 Blend Runtime MetaHuman Laughter 节点
  2. 将您的 RuntimeVisemeGenerator 变量连接到 Viseme Generator 引脚
  3. 如果您已经在使用唇形同步：
    • 将来自 Blend Runtime MetaHuman Lip Sync 节点的输出连接到 Blend Runtime MetaHuman Laughter 节点的 Source Pose
    • 将 Blend Runtime MetaHuman Laughter 节点的输出连接到 Output Pose 的 Result 引脚
  4. 如果仅使用笑声而没有唇形同步：
    • 将您的源姿势直接连接到 Blend Runtime MetaHuman Laughter 节点的 Source Pose
    • 将输出连接到 Result 引脚

混合运行时 MetaHuman 笑声

当在音频中检测到笑声时，您的角色将相应地进行动态动画：

笑声

笑声配置​

Blend Runtime MetaHuman Laughter 节点有自己的配置选项：

属性默认值描述
Interpolation Speed25控制嘴部运动在笑声动画之间过渡的速度。较高的值导致更快、更突然的过渡。
Reset Time0.2笑声重置前的持续时间（秒）。这对于防止音频停止后笑声继续很有用。
Max Laughter Weight0.7缩放笑声动画的最大强度（0.0 - 1.0）。

注意： 笑声检测目前仅适用于标准模型。

与现有动画结合​

要将唇形同步和笑声与现有的身体动画和自定义面部动画一起应用而不覆盖它们：

  1. 在您的身体动画和最终输出之间添加一个 Layered blend per bone 节点。确保 Use Attached Parent 为 true。
  2. 配置层设置：
    • 向 Layer Setup 数组添加 1 个项目
    • 为该层的 Branch Filters 添加 3 个项目，使用以下 Bone Name：
      • FACIAL_C_FacialRoot
      • FACIAL_C_Neck2Root
      • FACIAL_C_Neck1Root
  3. 对于自定义面部动画很重要： 在 Curve Blend Option 中，选择 "Use Max Value"。这允许自定义面部动画（表情、情绪等）正确地分层在唇形同步之上。
  4. 进行连接：
    • 现有动画（如 BodyPose）→ Base Pose 输入
    • 面部动画输出（来自唇形同步和/或笑声节点）→ Blend Poses 0 输入
    • 分层混合节点 → 最终的 Result 姿势

分层混合每骨骼

变形目标集选择​

标准模型使用姿势资产，这些资产通过 自定义姿势资产设置 固有地支持任何变形目标命名约定。不需要额外的配置。

微调唇形同步行为​

舌头伸出控制​

在标准唇形同步模型中，您可能会注意到在某些音素期间舌头过度向前移动。要控制舌头伸出：

  1. 在您的唇形同步混合节点之后，添加一个 Modify Curve 节点
  2. 右键单击 Modify Curve 节点并选择 Add Curve Pin
  3. 添加一个名称为 CTRL_expressions_tongueOut 的曲线引脚
  4. 将节点的 Apply Mode 属性设置为 Scale
  5. 调整 Value 参数以控制舌头伸展（例如，0.8 以减少 20% 的伸出）

下巴张开控制​

根据您的音频内容和视觉要求，真实感唇形同步可能会产生过度响应的下巴运动。要调整下巴张开强度：

  1. 在您的唇形同步混合节点之后，添加一个 Modify Curve 节点
  2. 右键单击 Modify Curve 节点并选择 Add Curve Pin
  3. 添加一个名称为 CTRL_expressions_jawOpen 的曲线引脚
  4. 将节点的 Apply Mode 属性设置为 Scale
  5. 调整 Value 参数以控制下巴张开范围（例如，0.9 以减少 10% 的下巴运动）

特定情绪的微调​

对于情绪启用模型，您可以微调特定的情感表情：

眉毛控制：

  • CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - 内侧眉毛抬起
  • CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - 外侧眉毛抬起
  • CTRL_expressions_browDownL / CTRL_expressions_browDownR - 眉毛降低

眼睛表情控制：

  • CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - 眼睛眯起
  • CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - 脸颊抬起

模型比较与选择​

在模型之间选择​

当决定为您的项目使用哪个唇形同步模型时，请考虑以下因素：

考虑因素标准模型真实感模型情绪启用真实感模型
角色兼容性MetaHumans 和所有自定义角色类型仅 MetaHumans仅 MetaHumans
视觉质量良好的唇形同步，高效性能增强的真实感，更自然的嘴部运动增强的真实感，带有情感表情
性能针对包括移动/VR 在内的所有平台优化更高的资源需求更高的资源需求
功能14 个音素，笑声检测81 个面部控制，3 个优化级别81 个面部控制，12 种情绪，可配置输出
平台支持Windows, Android, QuestWindows, Mac, iOS, Linux, Android, QuestWindows, Mac, iOS, Linux, Android, Quest
使用场景通用应用程序、游戏、VR/AR、移动设备电影体验、特写互动情感叙事、高级角色互动

引擎版本兼容性​

UE 5.2 兼容性问题

如果您使用 Unreal Engine 5.2，真实感模型可能无法正常工作，这是由于 UE 重采样库中的一个错误。对于需要可靠唇形同步功能的 UE 5.2 用户，请改用 标准模型。

此问题特定于 UE 5.2，不影响其他引擎版本。

性能建议​

  • 对于大多数项目，标准模型 提供了质量与性能的绝佳平衡
  • 当您需要为 MetaHuman 角色提供最高视觉保真度时，使用 真实感模型
  • 当情感表达控制对您的应用程序很重要时，使用 情绪启用真实感模型
  • 在选择模型时考虑目标平台的性能能力
  • 测试不同的优化级别，为您的特定用例找到最佳平衡

TTS 兼容性​

模型类型本地 TTS 支持（通过 Runtime Text To Speech）外部 TTS 支持备注
标准模型✅ 完全支持✅ 完全支持兼容所有 TTS 选项
真实感模型❌ 有限支持✅ 完全支持ONNX 运行时与本地 TTS 冲突
情绪启用真实感模型✅ 完全支持✅ 完全支持兼容所有 TTS 选项

故障排除​

常见问题​

真实感模型的生成器重新创建： 为了与真实感模型实现可靠且一致的操作，建议在每次经过一段不活动期后想要馈送新音频数据时重新创建生成器。这是由于 ONNX 运行时行为可能导致在静默期后重用生成器时唇形同步停止工作。

本地 TTS 兼容性： 由于 ONNX 运行时冲突，Runtime Text To Speech 插件提供的本地 TTS 目前不支持常规真实感模型。但是，它与标准模型和情绪启用真实感模型完全兼容。如果您特别需要带有 TTS 功能的常规真实感模型，请使用外部 TTS 服务。

唇形同步响应性下降： 如果您在使用 Streaming Sound Wave 或 Capturable Sound Wave 时遇到唇形同步随时间变得响应性降低的情况，这可能是由内存累积引起的。默认情况下，每次追加新音频时都会重新分配内存。为防止此问题，定期调用 ReleaseMemory 函数以释放累积的内存，例如大约每 30 秒一次。

性能优化：

  • 根据您的性能要求调整真实感模型的处理块大小
  • 为目标硬件使用适当的线程数
  • 当不需要完整的面部动画时，考虑为情绪启用模型使用 Mouth Only 输出类型