如何将插件用于自定义角色
本指南将引导您完成为非MetaHuman角色设置Runtime MetaHuman Lip Sync的过程。此过程需要您熟悉动画概念和角色绑定。如果您需要针对特定角色实现此功能的专业支持，可以联系[email protected]获取帮助。
关于唇形同步模型的重要说明
自定义角色仅支持标准(更快)模型。
真实感(更高质量)模型专为MetaHuman角色设计，不能用于自定义角色。在本指南中，当引用主设置指南时，您应始终遵循标准模型的说明。
需要扩展插件: 要将标准模型用于自定义角色，您必须按照主设置指南先决条件部分中的说明安装标准唇形同步扩展插件。
本指南中描述的所有自定义角色实现都必须使用此扩展插件。
先决条件
在开始之前，请确保您的角色满足以下要求:
- 具有有效的骨骼
- 包含用于面部表情的变形目标(混合形状)
- 理想情况下具有10+个定义视位(viseme)的变形目标(视位越多=唇形同步质量越好)
插件需要将您角色的变形目标映射到以下标准视位:
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
注意： 如果您的角色使用不同的视位（viseme）系统（这很常见），您不需要为每个视位寻找完全匹配的映射。近似映射通常就足够了——例如，将您角色的SH视位映射到插件的CH视位会有效工作，因为它们是发音位置相近的龈后音。
视位映射参考
以下是常见视位系统与插件所需视位之间的映射关系：
- Apple ARKit
- FACS系统
- Preston Blair系统
- 3ds Max 音素系统
- 自定义角色 (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)
ARKit提供了一套全面的面部动画混合形状，包括多种嘴型。以下是如何将它们映射到RuntimeMetaHumanLipSync视位：
| RuntimeMetaHumanLipSync视位 | ARKit等效混合形状 | 备注 |
|---|---|---|
| Sil | mouthClose | 中性/休息状态 |
| PP | mouthPressLeft + mouthPressRight | 对于双唇音，同时使用两个按压形状 |
| FF | lowerLipBiteLeft + lowerLipBiteRight | 这些形状创建"f/v"唇齿接触效果 |
| TH | tongueOut | ARKit可直接控制舌头 |
| DD | jawOpen (轻微) + tongueUp | 结合轻微下颌打开和舌位 |
| KK | mouthLeft或mouthRight (轻微) | 轻微嘴角拉动可近似软腭音 |
| CH | jawOpen (轻微) + mouthFunnel (轻微) | 组合形成龈后音 |
| SS | mouthFrown | 使用轻微皱眉表示咝音 |
| NN | jawOpen (非常轻微) + mouthClose | 几乎闭合的嘴配合轻微下颌打开 |
| RR | mouthPucker (轻微) | 轻微圆唇表示r音 |
| AA | jawOpen + mouthOpen | 组合形成大开口元音 |
| E | jawOpen (轻微) + mouthSmile | 中等开口配合轻微微笑 |
| IH | mouthSmile (轻微) | 嘴唇轻微展开 |
| OH | mouthFunnel | 圆唇开口形状 |
| OU | mouthPucker | 紧密圆唇 |
FACS（面部动作编码系统）使用动作单元（AUs）描述面部运动。许多专业动画系统采用基于FACS的方法：
| RuntimeMetaHumanLipSync视位 | FACS动作单元 | 备注 |
|---|---|---|
| Sil | 中性 | 无激活动作单元 |
| PP | AU23 + AU24 | 唇压紧器+唇紧绷器 |
| FF | AU22 + AU28 | 唇漏斗器+唇吸吮 |
| TH | AU25 (轻微) + AU27 | 唇分开+嘴拉伸 |
| DD | AU25 + AU16 | 唇分开+下唇 压低器 |
| KK | AU26 + AU14 | 下颌下降+酒窝形成器 |
| CH | AU18 + AU25 | 唇撅起+唇分开 |
| SS | AU20 | 唇拉伸器 |
| NN | AU25 (非常轻微) | 轻微唇分开 |
| RR | AU18 (轻微) | 轻微唇撅起 |
| AA | AU27 + AU26 | 嘴拉伸+下颌下降 |
| E | AU25 + AU12 | 唇分开+嘴角拉动器 |
| IH | AU12 + AU25 (轻微) | 嘴角拉动器+轻微唇分开 |
| OH | AU27 (轻微) + AU18 | 轻微嘴拉伸+唇撅起 |
| OU | AU18 + AU26 (轻微) | 唇撅起+轻微下颌下降 |
普雷斯顿·布莱尔系统是一种经典的动画标准，它为嘴型使用了描述性名称：
| RuntimeMetaHumanLipSync 视位 | 普雷斯顿·布莱尔 | 备注 |
|---|---|---|
| Sil | Rest | 中性闭合嘴部位置 |
| PP | MBP | 经典的"MBP"嘴型 |
| FF | FV | "FV"位置，下唇抵住牙齿 |
| TH | TH | 舌头触碰前齿 |
| DD | D/T/N | 这些辅音的相似位置 |
| KK | CKG | 硬辅音位置 |
| CH | CH/J/SH | 这些声音的轻微撅嘴 |
| SS | S/Z | 略微张开的牙齿位置 |
| NN | N/NG/L | 与D/T类似但舌头位置不同 |
| RR | R | 发R音时的圆唇 |
| AA | AI | 大张的嘴 |
| E | EH | 中等张开的嘴 |
| IH | EE | 嘴唇展开 |
| OH | OH | 中等圆唇开口 |
| OU | OO | 紧圆唇 |
3ds Max 为其角色工作室使用基于音素的系统：
| RuntimeMetaHumanLipSync 视位 | 3ds Max 音素 | 备注 |
|---|---|---|
| Sil | rest | 默认嘴部位置 |
| PP | p_b_m | 直接对应 |
| FF | f_v | 直接对应 |
| TH | th | 直接对应 |
| DD | t_d | 直接对应 |
| KK | k_g | 直接对应 |
| CH | sh_zh_ch | 组合形状 |
| SS | s_z | 直接对应 |
| NN | n_l | 这些声音的组合 |
| RR | r | 直接对应 |
| AA | ah | 开放元音 |
| E | eh | 中元音 |
| IH | ee | 闭前元音 |
| OH | oh | 后圆唇元音 |
| OU | oo | 闭后元音 |
具有视位或嘴部混合形状/变形目标的自定义角色（如Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe等）通常可以合理近似地映射到插件的视位系统。
创建自定义姿势资产
按照以下步骤创建将用于Blend Runtime MetaHuman Lip Sync节点的自定义角色姿势资产：
1. 定位角色的骨骼网格体
找到包含要用于唇形同步动画的变形目标（混合形状）的骨骼网格体。根据角色设计，这可能是全身网格体或仅是面部网格体。
2. 验证可用的变形目标
确保骨骼网格体具有适合用作唇形同步动画视位的变形目标。大多数支持面部动画的角色都应具有一些音素/视位变形目标。
3. 创建参考姿势动画
- 转到
创建资产 -> 创建动画 -> 参考姿势 - 为动画序列输入描述性名称并保存到合适位置
- 创建的动画序列将自动打开，显示循环播放的空动画
- 点击
暂停按钮停止动画播放以便于编辑
4. 编辑动画序列
- 点击
在Sequencer中编辑->使用FK Control Rig编辑 - 在
烘焙到Control Rig对话框中，直接点击烘焙到Control Rig按钮（无需更改任何设置）
- 编辑器将切换到
动画模式并打开Sequencer选项卡 - 将
视图范围结束时间设置为0016（这将自动把工作范围结束也设为0016） - 将滑块的右边缘拖到sequencer窗口的最右端
5. 准备动画曲线
- 返回 Animation Sequence 资源，在
Curves列表中定位变形目标（如果不可见，请关闭并重新打开 Animation Sequence 资源） - 移除与您想用于唇形同步的视位素或嘴部动作无关的所有变形目标
6. 规划您的视位映射
创建一个映射计划，将您角色的视位与插件所需的集合进行匹配。例如：
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
请注意，当您的角色口型集无法精确匹配每个所需的口型时，允许存在重复映射的情况。
7. 为每个口型制作动画
- 针对每个口型，将相关变形目标曲线从0.0动画化至1.0
- 在不同帧上开始每个口型的动画
- 根据需要配置其他曲线（下颌/嘴巴开合、舌头位置等）以创建自然的口型形状
8. 创建姿势资产
- 转到
创建资产->姿势资产->当前动画 - 为姿势资产输入描述性名称并保存到合适位置
- 创建的姿势资产将自动打开，显示如
Pose_0、Pose_1等姿势，每个对应一个视位 - 预览视位权重以 确保它们按预期工作
9. 完成姿势资产
- 将每个姿势重命名为与前提条件部分中的视位名称匹配
- 删除任何未使用的姿势
设置音频处理和混合
当您的姿势资产准备就绪后，需要设置音频处理和混合节点：
- 找到或创建您角色的动画蓝图(Animation Blueprint)
- 按照标准插件设置指南中记录的相同步骤设置音频处理和混合
- 在
Blend Runtime MetaHuman Lip Sync节点中，选择您的自定义姿势资产(Pose Asset)而不是默认的MetaHuman姿势资产
与身体动画结合使用
如果您想在播放唇形同步的同时播放其他身体动画：
- 按照标准插件指南中记录的相同步骤操作
- 确保为角色颈部骨骼提供正确的骨骼名称，而不是使用MetaHuman的骨骼名称
效果展示
以下是使用此设置的自定义角色示例：
唇形同步的质量很大程度上取决于特定角色及其视位(viseme)的设置情况。上述示例展示 了该插件与具有不同视位系统的各类自定义角色配合使用的情况。