如何将插件用于自定义角色
本指南将引导您完成为非MetaHuman角色设置Runtime MetaHuman Lip Sync的过程。此操作需要您熟悉动画概念和骨骼绑定。如果您需要针对特定角色实现此功能的专业支持，请联系[email protected]。
关于唇形同步模型的重要说明
⚠️ 自定义角色仅支持标准（更快）模型。
真实感（更高质量）模型专为MetaHuman角色设计，不能用于自定义角色。在本指南中，当引用主设置指南时，您应始终遵循标准模型的说明。
前提条件
开始之前，请确保您的角色满足以下要求：
- 具有有效的骨骼系统
- 包含用于面部表情的变形目标（混合形状）
- 理想情况下具有10+个定义视位（viseme）的变形目标（视位越多，唇形同步质量越好）
插件需要将您角色的变形目标映射到以下标准视位：
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
注意： 如果您的角色使用不同的视位素（viseme）系统（这很常见），您不需要为每个视位素寻找完全匹配的映射。近似映射通常就足够了——例如，将您角色的SH视位素映射到插件的CH视位素也能有效工作，因为它们是发音位置相近的齿龈后音。
视位素映射参考
以下是常见视位素系统与插件所需视位素之间的映射关系：
- Apple ARKit
- FACS系统
- Preston Blair系统
- 3ds Max音素系统
- 自定义角色（Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe）
ARKit提供了一套全面的面部动画混合形状，包含多种口型。以下是如何将它们映射到RuntimeMetaHumanLipSync视位素：
| RuntimeMetaHumanLipSync视位素 | ARKit等效混合形状 | 备注 |
|---|---|---|
| Sil | mouthClose | 中性/休息状态 |
| PP | mouthPressLeft + mouthPressRight | 双唇音，同时使用两个按压形状 |
| FF | lowerLipBiteLeft + lowerLipBiteRight | 形成"f/v"的唇齿接触 |
| TH | tongueOut | ARKit可直接控制舌头 |
| DD | jawOpen（轻 微） + tongueUp | 轻微张口结合舌位 |
| KK | mouthLeft或mouthRight（轻微） | 嘴角轻微拉动模拟软腭音 |
| CH | jawOpen（轻微） + mouthFunnel（轻微） | 组合形成齿龈后音 |
| SS | mouthFrown | 轻微皱眉发咝音 |
| NN | jawOpen（非常轻微） + mouthClose | 几乎闭合配合轻微张口 |
| RR | mouthPucker（轻微） | 轻微圆唇发r音 |
| AA | jawOpen + mouthOpen | 组合形成张大嘴的元音 |
| E | jawOpen（轻微） + mouthSmile | 中等张口配合微笑 |
| IH | mouthSmile（轻微） | 嘴唇轻微展开 |
| OH | mouthFunnel | 圆唇开口形状 |
| OU | mouthPucker | 紧圆唇形 |
FACS（面部动作编码系统）使用动作单元（AU）描述面部运动。许多专业动画系统采用基于FACS的方法：
| RuntimeMetaHumanLipSync视位素 | FACS动作单元 | 备注 |
|---|---|---|
| Sil | 中性 | 无激活动作单元 |
| PP | AU23 + AU24 | 唇压紧器+唇紧绷器 |
| FF | AU22 + AU28 | 唇漏斗器+唇吸吮 |
| TH | AU25（轻微） + AU27 | 唇分开+嘴拉伸 |
| DD | AU25 + AU16 | 唇分开+下唇降肌 |
| KK | AU26 + AU14 | 下巴下降+酒窝肌 |
| CH | AU18 + AU25 | 唇撅起+唇分开 |
| SS | AU20 | 唇拉伸器 |
| NN | AU25（非常轻微） | 轻微唇分开 |
| RR | AU18（轻微） | 轻微唇撅起 |
| AA | AU27 + AU26 | 嘴拉伸+下巴下降 |
| E | AU25 + AU12 | 唇分开+嘴角提肌 |
| IH | AU12 + AU25（轻微） | 嘴角提肌+轻微唇分开 |
| OH | AU27（轻微） + AU18 | 轻微嘴拉伸+唇撅起 |
| OU | AU18 + AU26（轻微） | 唇撅起+轻微下巴下降 |
Preston Blair系统是经典动画标准，使用描述性口型名称：
| RuntimeMetaHumanLipSync视位素 | Preston Blair口型 | 备注 |
|---|---|---|
| Sil | 休息 | 中性闭合口型 |
| PP | MBP | 经典"MBP"口型 |
| FF | FV | "FV"齿唇接触位置 |
| TH | TH | 舌尖接触前齿 |
| DD | D/T/N | 类似辅音位置 |
| KK | CKG | 硬辅音位置 |
| CH | CH/J/SH | 轻微撅嘴发这些音 |
| SS | S/Z | 轻微开牙位置 |
| NN | N/NG/L | 类似D/T但舌位不同 |
| RR | R | 圆唇发R音 |
| AA | AI | 大张口型 |
| E | EH | 中等开口 |
| IH | EE | 展唇 |
| OH | OH | 圆唇中等开口 |
| OU | OO | 紧圆唇 |
3ds Max为其角色工作室使用基于音素的系统：
| RuntimeMetaHumanLipSync视位素 | 3ds Max音素 | 备注 |
|---|---|---|
| Sil | rest | 默认口型 |
| PP | p_b_m | 直接对应 |
| FF | f_v | 直接对应 |
| TH | th | 直接对应 |
| DD | t_d | 直接对应 |
| KK | k_g | 直接对应 |
| CH | sh_zh_ch | 组合形状 |
| SS | s_z | 直接对应 |
| NN | n_l | 这些音的组合 |
| RR | r | 直接对应 |
| AA | ah | 开元音 |
| E | eh | 中元音 |
| IH | ee | 闭前元音 |
| OH | oh | 后圆唇元音 |
| OU | oo | 闭后元音 |
具有视位素或口型混合形状/变形目标的自定义角色（如Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe等）通常可以合理近似映射到插件的视位素系统。
创建自定义姿势资产
按照以下步骤为您的角色创建自定义姿势资产，该资产将与Blend Runtime MetaHuman Lip Sync节点配合使用：
1. 定位角色的骨骼网格体
找到包含您要用于唇形同步动画的变形目标（混合形状）的骨骼网格体。根据角色设计，这可能是全身网格体或仅面部网格体。
2. 验证可用变形目标
确保您的骨骼网格体具有适合用作唇形同 步视位素的变形目标。大多数支持面部动画的角色都应具备某些音素/视位素变形目标。
3. 创建参考姿势动画
- 转到
创建资产 -> 创建动画 -> 参考姿势 - 输入动画序列的描述性名称并保存到适当位置
- 创建的动画序列将自动打开，显示循环播放的空动画
- 点击
暂停按钮停止动画播放以便编辑
4. 编辑动画序列
- 点击
在Sequencer中编辑->使用FK Control Rig编辑 - 在
烘焙到Control Rig对话框中，直接点击烘焙到Control Rig按钮无需更改设置
- 编辑器将切换到
动画模式并打开Sequencer选项卡 - 将
视图范围结束时间设置为0016（这将自动将工作范围结束也设为0016） - 将滑块右边缘拖到sequencer窗口最右端
5. 准备动画曲线
- 返回动画序列资产，在
Curves列表中定位变形目标（如果不可见，请关闭并重新打开动画序列资产） - 移除所有与您想用于唇形同步的视位素或嘴部动作无关的变形目标
6. 规划您的视位映射
创建一个映射方案，将您角色的视位与插件要求的集合进行匹配。例如：
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
请注意，当角色的口型集（viseme set）没有与每个所需口型完全匹配的映射时，允许存在重复映射。
7. 为每个口型制作动画
- 针对每个口型，将相关变形目标曲线从0.0动画化至1.0
- 在不同帧上开始每个口型的动画
- 根据需要配置其他曲线（如下颌/嘴巴张开度、舌头位置等）以创建自然的口型形态
8. 创建姿势资产
- 转到
创建资产->姿势资产->当前动画 - 为姿势资产输入描述性名称并保存到合适位置
- 创建的姿势资产将自动打开，显示如
Pose_0、Pose_1等姿势，每个对应一个视位素 - 预览视位素权重以确保 其按预期工作
9. 完成姿势资产设置
- 将每个姿势重命名为与前提条件章节中的视位素名称匹配
- 删除所有未使用的姿势
设置音频处理与混合
准备好姿势资产后，需要设置音频处理与混合节点：
- 找到或创建角色的动画蓝图(Animation Blueprint)
- 按照标准插件设置指南中的相同步骤设置音频处理与混合
- 在
Blend Runtime MetaHuman Lip Sync节点中，选择自定义姿势资产 而非默认的MetaHuman姿势资产
与身体动画结合
如需在身体动画同时进行唇形同步：
- 遵循标准插件指南中的相同步骤
- 确保为角色颈部骨骼提供正确的骨骼名称，而非使用MetaHuman的骨骼名称
效果展示
以下是使用此设置的自定义角色示例：
唇形同步质量主要取决于具体角色及其音位(viseme)系统的设置质量。上述示例展示了插件在不同类型、具有独特音位系统的自定义角色上的工 作效果。