在自定义角色上使用插件
本指南将引导您完成为非MetaHuman角色设置Runtime MetaHuman Lip Sync的流程。此过程需要您熟悉动画概念和绑定技术。如果您需要针对特定角色实现此功能的专业支持，请联系 [email protected] 获取帮助。
前提条件
开始之前，请确保您的角色满足以下要求：
- 具有有效骨骼系统
- 包含面部表情的变形目标（混合形状）
- 理想情况下应具备10个以上定义视位（viseme）的变形目标（视位越多=口型同步质量越好）
插件需要将您角色的变形目标映射到以下标准视位：
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
注意： 如果您的角色使用不同的视位素（viseme）系统（这很常见），您不需要为每个视位素寻找完全匹配的映射。近似映射通常就足够有效——例如，将您角色的 SH 视位素映射到插件的 CH 视位素就能良好运作，因为它们是发音位置相近的龈后音。
视位素映射参考
以下是常见视位素系统与插件所需视位素之间的映射关系：
- Apple ARKit
- FACS 系统
- Preston Blair 系统
- 3ds Max 音素系统
- 自定义角色（Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe）
ARKit 提供了一套全面的面部动画混合形状（blendshapes），包含多种口型。以下是如何将它们映射到 RuntimeMetaHumanLipSync 视位素：
| RuntimeMetaHumanLipSync 视位素 | ARKit 等效混合形状 | 备注 |
|---|---|---|
| Sil | mouthClose | 中性/休息状态 |
| PP | mouthPressLeft + mouthPressRight | 双唇音需同时使用左右按压形状 |
| FF | lowerLipBiteLeft + lowerLipBiteRight | 这些形状创建"f/v"的唇齿接触效果 |
| TH | tongueOut | ARKit 可直接控制舌头 |
| DD | jawOpen（轻微） + tongueUp | 结合轻微下颌打开与舌位 |
| KK | mouthLeft 或 mouthRight（轻微） | 嘴角轻微拉动可近似软腭音 |
| CH | jawOpen（轻微） + mouthFunnel（轻微） | 组合实现龈后音 |
| SS | mouthFrown | 轻微嘴角下垂表现咝音 |
| NN | jawOpen（极轻微） + mouthClose | 近似闭合嘴部配合轻微下颌打开 |
| RR | mouthPucker（轻微） | 轻微圆唇表现r音 |
| AA | jawOpen + mouthOpen | 组合实现大开元音口型 |
| E | jawOpen（轻微） + mouthSmile | 中等开口配合微笑 |
| IH | mouthSmile（轻微） | 嘴唇轻微展开 |
| OH | mouthFunnel | 圆唇开口形状 |
| OU | mouthPucker | 紧圆唇形 |
FACS（面部动作编码系统）使用动作单元（AUs）描述面部运动。许多专业动画系统采用基于FACS的方案：
| RuntimeMetaHumanLipSync 视位素 | FACS 动作单元 | 备注 |
|---|---|---|
| Sil | 中性 | 无激活动作单元 |
| PP | AU23 + AU24 | 唇压紧器+唇收紧器 |
| FF | AU22 + AU28 | 唇漏斗器+唇吸吮 |
| TH | AU25（轻微） + AU27 | 唇分开+嘴部拉伸 |
| DD | AU25 + AU16 | 唇分开+下唇下降器 |
| KK | AU26 + AU14 | 下颌下降+酒窝形成器 |
| CH | AU18 + AU25 | 唇撅起+唇分开 |
| SS | AU20 | 唇拉伸器 |
| NN | AU25（极轻微） | 轻微唇分开 |
| RR | AU18（轻微） | 轻微唇撅起 |
| AA | AU27 + AU26 | 嘴部拉伸+下颌下降 |
| E | AU25 + AU12 | 唇分开+嘴角提拉器 |
| IH | AU12 + AU25（轻微） | 嘴角提拉器+轻微唇分开 |
| OH | AU27（轻微） + AU18 | 轻微嘴部拉伸+唇撅起 |
| OU | AU18 + AU26（轻微） | 唇撅起+轻微下颌下降 |
Preston Blair 系统是经典动画标准，使用描述性口型名称：
| RuntimeMetaHumanLipSync 视位素 | Preston Blair | 备注 |
|---|---|---|
| Sil | 休息 | 中性闭合嘴部 |
| PP | MBP | 经典"MBP"口型 |
| FF | FV | "FV"齿唇接触位 |
| TH | TH | 舌触前齿 |
| DD | D/T/N | 相似辅音位置 |
| KK | CKG | 硬辅音位置 |
| CH | CH/J/SH | 轻微撅嘴 |
| SS | S/Z | 微开齿位 |
| NN | N/NG/L | 类似D/T但不同舌位 |
| RR | R | 圆唇R音 |
| AA | AI | 大开口型 |
| E | EH | 中等开口 |
| IH | EE | 展唇 |
| OH | OH | 圆唇中等开口 |
| OU | OO | 紧圆唇 |
3ds Max 为其角色工作室使用基于音素的系统：
| RuntimeMetaHumanLipSync 视位素 | 3ds Max 音素 | 备注 |
|---|---|---|
| Sil | rest | 默认口型 |
| PP | p_b_m | 直接对应 |
| FF | f_v | 直接对应 |
| TH | th | 直接对应 |
| DD | t_d | 直接对应 |
| KK | k_g | 直接对应 |
| CH | sh_zh_ch | 组合形状 |
| SS | s_z | 直接对应 |
| NN | n_l | 组合音素 |
| RR | r | 直接对应 |
| AA | ah | 开元音 |
| E | eh | 中元音 |
| IH | ee | 闭前元音 |
| OH | oh | 后圆元音 |
| OU | oo | 闭后元音 |
具有视位 素或嘴部混合形状/变形目标的自定义角色（如Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe等）通常可以合理近似映射到插件的视位素系统。
创建自定义姿势资产
按照以下步骤为您的角色创建自定义姿势资产，该资产将与 Blend Runtime MetaHuman Lip Sync 节点配合使用：
1. 定位角色的骨骼网格体
找到包含要用于唇形同步动画的变形目标（混合形状）的骨骼网格体。根据角色设计，这可能是全身网格体或仅面部网格体。
2. 验证可用变形目标
确保您的骨骼网格体具有适合用作唇形同步视位素的变形目标。大多数支持面部动画的角色都应具备某些音素/视位素变形目标。
3. 创建参考姿势动画
- 转到
创建资产 -> 创建动画 -> 参考姿势 - 输入动画序列的描述性名称并保存到合适位置
- 创建的动画序列将自动打开，显示循环播放的空动画
- 点击
暂停按钮停止动画播放以便编辑
4. 编辑动画序列
- 点击
在Sequencer中编辑->使用FK Control Rig编辑 - 在
烘焙到Control Rig对话框中，直接点击烘焙到Control Rig按钮
- 编辑器将切换到
动画模式并打开Sequencer标 签页 - 将
视图范围结束时间设置为0016（这将自动将工作范围结束也设为0016） - 将滑动条的右边缘拖到sequencer窗口最右端
5. 准备动画曲线
- 返回动画序列资产，在
曲线列表中定位变形目标（如果不可见，请关闭并重新打开动画序列资产） - 删除与您想用于唇形同步的视位素或嘴部动作无关的任何变形目标
6. 规划您的视位映射
创建映射方案，将您角色的视位与插件要求的集合进行匹配。例如：
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
请注意，当角色 的视位（viseme）集合无法精确匹配每个所需的视位时，允许存在重复映射的情况。
7. 为每个视位制作动画
- 针对每个视位，将相关变形目标曲线从 0.0 动画化至 1.0
- 在不同帧上开始每个视位的动画
- 根据需要配置其他曲线（如下颌/嘴部开合、舌头位置等）以创建自然逼真的视位形态
8. 创建姿势资产
- 转到
创建资产->姿势资产->当前动画 - 为姿势资产输入描述性名称并保存到合适位置
- 创建的姿势资产将自动打开，显示如
Pose_0、Pose_1等姿势，每个对应一个视位素 - 预览视位素权重以确保其符合预期
9. 完成姿势资产配置
- 将每个姿势重命名为符合前提条件章节中的视位素名称
- 删除所有未使用的姿势
设置音频处理与混合
当您的姿势资产准备就绪后，需要设置音频处理与混合节点：
- 找到或创建角色的动画Blueprints
- 按照标准插件设置指南中的相同步骤设置音频处理与混合
- 在
Blend Runtime MetaHuman Lip Sync节点中，选择您的自定义Pose Asset而非默认的MetaHuman姿势资产
与身体动画结合
如需在身体动画的同时进行唇形同步：
- 遵循标准插件指南中的相同步骤
- 确保为角色颈部骨骼提供正确的骨骼名称，而非使用MetaHuman的骨骼名称
效果展示
以下是使用此设置的自定义角色示例：
唇形同步的质量主要取决于特定角色及其音素系统的设置精度。上述示例展示了插件在不同类型、具有独特音素系统的自定义角色上的工作效果。