跳到主要内容

如何将插件用于自定义角色

本指南将引导您完成为非MetaHuman角色设置Runtime MetaHuman Lip Sync的过程。此过程需要您熟悉动画概念和角色装配。如果您需要针对特定角色实现此功能的专业支持，可以联系[email protected]获取帮助。

关于唇形同步模型的重要说明​

自定义角色兼容性

自定义角色仅支持标准(更快)模型。

真实感(更高质量)模型专为MetaHuman角色设计，不能用于自定义角色。在本指南中，当引用主设置指南时，您应始终遵循标准模型的说明。

需要扩展插件: 要将标准模型用于自定义角色，您必须按照主设置指南先决条件部分中的说明安装标准唇形同步扩展插件。

本指南中描述的所有自定义角色实现都必须使用此扩展插件。

先决条件​

在开始之前，请确保您的角色满足以下要求:

  • 具有有效的骨骼
  • 包含用于面部表情的变形目标(blend shapes)
  • 理想情况下具有10+个定义视位(visemes)的变形目标(视位越多=唇形同步质量越好)

插件需要将您角色的变形目标映射到以下标准视位:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

注意： 如果您的角色使用不同的视位（viseme）系统（这很常见），您不需要为每个视位寻找完全匹配的映射。近似映射通常就足够有效——例如，将您角色的SH视位映射到插件的CH视位就能正常工作，因为它们是发音位置相近的龈后音。

视位映射参考​

以下是常见视位系统与本插件所需视位之间的映射关系：

ARKit提供了一套全面的面部动画混合形状，包括多种嘴型。以下是如何将它们映射到RuntimeMetaHumanLipSync视位：

RuntimeMetaHumanLipSync视位ARKit等效混合形状备注
SilmouthClose中性/休息状态
PPmouthPressLeft + mouthPressRight对于双唇音，同时使用两个按压形状
FFlowerLipBiteLeft + lowerLipBiteRight (或 mouthRollLower)下唇接触上齿，如"f"和"v"音
THtongueOutARKit可直接控制舌头
DDjawOpen (轻微) + tongueUp (如果有舌头骨骼)舌头顶住齿龈；轻微下巴下垂
KKmouthLeft 或 mouthRight (轻微)轻微嘴角拉动近似软腭音
CHjawOpen (轻微) + mouthFunnel (轻微)组合形成龈后音
SSmouthFrown轻微皱眉用于齿擦音
NNjawOpen (非常轻微) + mouthClose几乎闭合的嘴部配合轻微下巴打开
RRmouthPucker (轻微)轻微圆唇用于r音
AAjawOpen + mouthStretchLeft + mouthStretchRight (或 jawOpen + mouthOpen)大张嘴巴发"ah"音
EjawOpen (轻微) + mouthSmile中等张开配合轻微微笑
IHmouthSmile (轻微)嘴唇轻微展开
OHmouthFunnel圆唇开放形状
OUmouthPucker紧密圆唇

创建自定义姿势资产​

按照以下步骤为您的角色创建自定义姿势资产，该资产将与Blend Runtime MetaHuman Lip Sync节点一起使用：

1. 定位角色的骨骼网格体​

找到包含您想要用于唇形同步动画的变形目标（混合形状）的骨骼网格体。根据角色设计，这可能是全身网格体或仅面部网格体。

2. 验证可用的变形目标​

确保您的骨骼网格体具有适合用作唇形同步动画视位的变形目标。大多数支持面部动画的角色都应具有一些音素/视位变形目标。

角色中变形目标的示例

3. 创建参考姿势动画​

  1. 前往 创建资产 -> 创建动画 -> 参考姿势
  2. 为动画序列输入描述性名称并保存到合适位置
  3. 创建的动画序列将自动打开，显示循环播放的空动画

创建参考姿势资产 命名参考姿势资产

  1. 点击 暂停 按钮停止动画播放以便于编辑

暂停动画播放

4. 编辑动画序列​

  1. 点击 在Sequencer中编辑 -> 使用FK Control Rig编辑
  2. 在 烘焙到Control Rig 对话框中，直接点击 烘焙到Control Rig 按钮（无需更改任何设置）

使用FK Control Rig编辑 烘焙到Control Rig

  1. 编辑器将切换到 动画模式 并打开 Sequencer 选项卡
  2. 将 视图范围结束时间 设置为0016（这将自动把 工作范围结束 也设为0016）
  3. 将滑块的右边缘拖到sequencer窗口的最右端

5. 准备动画曲线​

  1. 返回 Animation Sequence 资源，在 Curves 列表中定位变形目标（如果不可见，请关闭并重新打开 Animation Sequence 资源）
  2. 移除所有与您想用于唇形同步的视位素或嘴部动作无关的变形目标

6. 规划您的视位映射​

创建一个映射计划，将您角色的视位与插件所需的集合进行匹配。例如：

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

请注意，当您的角色口型集无法精确匹配每个所需的口型时，允许存在重复映射的情况是可以接受的。

7. 为每个口型制作动画​

  1. 针对每个口型，将相关的变形目标曲线从0.0动画到1.0
  2. 在不同的帧上开始每个口型的动画
  3. 根据需要配置其他曲线（如下颌/嘴巴张开度、舌头位置等）以创建自然的口型形状

8. 创建姿势资产​

  1. 转到 创建资产 -> 姿势资产 -> 当前动画
  2. 为姿势资产输入描述性名称并保存到合适位置
  3. 创建的姿势资产将自动打开，显示如 Pose_0、Pose_1 等姿势，每个对应一个视位
  4. 预览视位权重以确保它们按预期工作

创建姿势资产 命名姿势资产 包含视位的姿势资产

9. 完成姿势资产​

  1. 将每个姿势重命名为与前提条件部分中的视位名称匹配
  2. 删除任何未使用的姿势

设置音频处理和混合​

准备好姿势资产后，您需要设置音频处理和混合节点：

  1. 找到或创建角色的动画Blueprint(Animation Blueprint)
  2. 按照标准插件设置指南中的相同步骤设置音频处理和混合
  3. 在Blend Runtime MetaHuman Lip Sync节点中，选择您的自定义姿势资产(Pose Asset)而不是默认的MetaHuman姿势资产

选择自定义姿势资产

与身体动画结合使用​

如果要在身体动画的同时执行唇形同步：

  1. 按照标准插件指南中的相同步骤操作
  2. 确保为角色的颈部骨骼提供正确的骨骼名称，而不是使用MetaHuman的骨骼名称

效果展示​

以下是使用此设置的自定义角色示例：

示例1：自定义角色的唇形同步

示例2：不同音位系统的唇形同步

示例3：不同音位系统的唇形同步

唇形同步的质量很大程度上取决于特定角色及其音位(viseme)系统的设置。上述示例展示了插件与具有不同音位系统的各类自定义角色配合使用的情况。