如何使用外掛程式搭配自訂角色
本指南將逐步說明如何為非 MetaHuman 角色設定 Runtime MetaHuman Lip Sync。此流程需要熟悉動畫概念與骨架綁定。若您需要針對特定角色進行實作協助，可透過 [email protected] 聯繫專業支援。
關於唇形同步模型的重要說明
自訂角色僅支援標準（較快）模型。
真實（更高品質）模型專為 MetaHuman 與 ARKit 角色設計，無法用於其他自訂角色。在本指南中，當提及主要設定指南時，請遵循標準模型的指示。
需要擴充插件： 若要將標準模型用於自訂角色，您必須按照主要設定指南的先決條件章節所述，安裝標準嘴型同步擴充插件。
此擴充功能是必要的，適用於本指南中所述的所有自訂角色實作。
先決條件
開始之前，請確保您的角色符合以下要求：
- 具有有效的骨架
- 包含用於面部表情的形態目標（混合形狀）
- 理想情況下擁有10個以上定義視位元的形態目標（視位元越多，唇形同步品質越好）
該插件需要將您角色的變形目標對應至以下標準嘴型：
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
注意： 如果你的角色使用不同的一組 viseme（這很有可能），你不需要為每個 viseme 找到完全匹配。近似值通常就足夠了——例如，將你角色的 SH viseme 對應到插件的 CH viseme 就能有效運作，因為它們是密切相關的齒齦後音。
Viseme 映射參考
以下是常見的 viseme 系統與插件所需 viseme 之間的對應關係：
- Apple ARKit
- 基於FACS的系統
- 普雷斯頓·布萊爾系統
- 3ds Max 音素系統
- 自訂角色（Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe）
ARKit 提供了一套全面的混合變形（blendshapes）用於臉部動畫，其中包括多種嘴型。以下是將它們對應到 RuntimeMetaHumanLipSync 視位（visemes）的方法：
| RuntimeMetaHumanLipSync 視位 | ARKit 等效方案 | 備註 |
|---|---|---|
| Sil | mouthClose | 中立/靜止位置 |
| PP | mouthPressLeft + mouthPressRight | 對於雙唇音，請同時使用兩種按壓形狀。 |
| FF | lowerLipBiteLeft + lowerLipBiteRight（或 mouthRollLower） | 下唇接觸上排牙齒，如發出「f」和「v」音時。 |
| TH | tongueOut | ARKit 具有直接的舌頭控制功能。 |
| DD | jawOpen (mild) + tongueUp (if you have tongue rig) | 舌尖輕觸齒槽脊；下顎微張。 |
| KK | mouthLeft or mouthRight (mild) | 輕微的嘴角上揚近似軟顎音 |
| CH | jawOpen (mild) + mouthFunnel (mild) | 結合用於齒齦後音 |
| SS | mouthFrown | 對齒擦音使用輕微的皺眉表情 |
| NN | jawOpen (very mild) + mouthClose | 嘴巴幾乎閉合，僅有輕微的下頷張開。 |
| RR | mouthPucker (mild) | r 音的細微圓唇化 |
| AA | jawOpen + mouthStretchLeft + mouthStretchRight（或 jawOpen + mouthOpen） | 嘴巴張大發出「啊」的聲音 |
| E | jawOpen (mild) + mouthSmile | 微張且帶有淺淺微笑的嘴型 |
| IH | mouthSmile (mild) | 嘴唇微張 |
| OH | mouthFunnel | 圓形開放形狀 |
| OU | mouthPucker | 緊閉圓唇 |
FACS（臉部動作編碼系統）使用動作單元（AUs）來描述臉部動作。許多專業動畫系統採用基於FACS的方法：
| RuntimeMetaHumanLipSync 視位 | FACS 動作單元 | 備註 |
|---|---|---|
| Sil | 中立 | 無活躍的AU |
| PP | AU23 + AU24 | 嘴唇壓縮器 + 嘴唇緊縮器 |
| FF | AU22 + AU28 | 嘴唇漏斗 + 嘴唇吸吮 |
| TH | AU25 (mild) + AU27 | 嘴唇分開 + 嘴巴拉伸 |
| DD | AU25 + AU16 | 嘴唇分開 + 下唇降肌 |
| KK | AU26 + AU14 | 下巴下垂 + 酒窩 |
| CH | AU18 + AU25 | 嘴唇噘起 + 嘴唇分開 |
| SS | AU20 | 嘴唇拉伸器 |
| NN | AU25 (very mild) | 嘴唇微張 |
| RR | AU18 (mild) | 輕微噘嘴 |
| AA | AU27 + AU26 | 嘴巴拉伸 + 下巴下垂 |
| E | AU25 + AU12 | 嘴唇分開 + 嘴角上揚 |
| IH | AU12 + AU25 (mild) | 嘴角上揚 + 輕微張唇 |
| OH | AU27 (mild) + AU18 | 輕微的嘴巴拉伸 + 嘴唇噘起 |
| OU | AU18 + AU26 (mild) | 嘴唇噘起 + 輕微下巴下垂 |
Preston Blair 系統是一套經典的動畫標準，採用描述性的名稱來定義嘴型：
| RuntimeMetaHumanLipSync 視素 | Preston Blair | 備註 |
|---|---|---|
| Sil | Rest | 中性閉合嘴部位置 |
| PP | MBP | 經典的「MBP」嘴型 |
| FF | FV | 「FV」位置，下唇與牙齒接觸 |
| TH | TH | 舌尖觸及前排牙齒 |
| DD | D/T/N | 這些子音的發音位置相似 |
| KK | CKG | 硬子音位置 |
| CH | CH/J/SH | 這些聲音的輕微嘟嘴 |
| SS | S/Z | 牙齒微張的位置 |
| NN | N/NG/L | 類似於 D/T，但舌頭位置不同。 |
| RR | R | R 音的圓唇 |
| AA | AI | 張大嘴巴 |
| E | EH | 中等張嘴 |
| IH | EE | 張開嘴唇 |
| OH | OH | 圓形中等開口 |
| OU | OO | 緊閉圓唇 |
3ds Max 的角色工作室採用基於音素的系統：
| RuntimeMetaHumanLipSync 視位 | 3ds Max 音素 | 備註 |
|---|---|---|
| Sil | rest | 預設嘴巴位置 |
| PP | p_b_m | 直接對應 |
| FF | f_v | 直接對應 |
| TH | th | 直接對應 |
| DD | t_d | 直接對應 |
| KK | k_g | 直接對應 |
| CH | sh_zh_ch | 組合形狀 |
| SS | s_z | 直接對應 |
| NN | n_l | 結合這些聲音 |
| RR | r | 直接對應 |
| AA | ah | 開元音 |
| E | eh | 中元音 |
| IH | ee | 閉前元音 |
| OH | oh | 後圓唇元音 |
| OU | oo | 閉後元音 |
自訂角色若具備 viseme 或嘴部混合形狀/變形目標（如 Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe 等），通常可透過合理近似方式對應至插件的 viseme 系統。
建立自訂姿勢資產
請依照以下步驟，為您的角色建立自訂姿勢資產，該資產將與「混合執行時期 MetaHuman 嘴型同步」節點搭配使用：
1. 找到角色的骨架網格
找到包含您要用於口型同步動畫的形態目標（混合形狀）的骨架網格。這可能是全身網格或僅是面部網格，具體取決於您角色的設計。
2. 驗證形態目標與曲線
在繼續之前，請確認您的骨架網格具有適當的形態目標及對應的曲線，以支援嘴型同步動畫。
檢查形態目標： 確認您的骨架網格包含可用於唇形同步動畫的形態目標（混合形狀）。大多數支援臉部動畫的角色都應具備一些音素/視素形態目標。
重要：確認曲線標籤頁 此步驟對於從 Blender 或其他外部軟體匯出的角色尤其關鍵：
- 在骨架網格編輯器中開啟曲線分頁
- 檢查是否能看到對應於您的形態目標的曲線
- 如果曲線分頁是空的，但形態目標存在，請手動新增曲線，並使用與形態目標完全相同的名稱
注意： 此問題常見於 Blender 匯出時，雖然形態目標成功匯入，但動畫曲線並未自動建立。若缺少對應的曲線，在烘焙至控制骨架後，動畫將無法正確生成。
替代解決方案： 為防止在從 Blender 匯出時發生此問題，請嘗試在 FBX 匯出設定中啟用自訂屬性和動畫，這可能有助於將動畫曲線與形態目標一同包含在內。
3. 建立參考姿勢動畫
- 前往
建立資產 -> 建立動畫 -> 參考姿勢 - 為動畫序列輸入一個具描述性的名稱，並將其儲存在適當的位置
- 建立的動畫序列會自動開啟，顯示一個循環播放的空白動畫
- 點擊
Pause按鈕以停止動畫播放，以便更輕鬆地進行編輯。
4. 編輯動畫序列
- 點擊
Edit in Sequencer->Edit with FK Control Rig - 在
Bake to Control Rig對話框中，無需更改任何設定，直接點擊Bake to Control Rig按鈕
- 編輯器將切換至「動畫模式」，並開啟「序列器」分頁
- 將「檢視範圍結束時間」設為 0016（這會自動將「工作範圍結束」也設為 0016）
- 將滑桿的右邊緣拖曳至序列器視窗的最右端
5. 準備動畫曲線
- 返回動畫序列資源，並在「曲線」清單中找出形態目標（如果看不見，請關閉並重新開啟動畫序列資源）
- 移除任何與您要用於唇形同步的視位或嘴部動作無關的形態目標
6. 規劃您的視位映射
建立對應計畫，將角色的視位（visemes）與外掛所需的集合進行配對。例如：
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
請注意，當角色的視位元組沒有完全對應到每個所需的視位元時，允許存在重複的映射。
7. 為每個視位設定動畫
- 針對每個視位，將相關的形態目標曲線從 0.0 動畫至 1.0
- 在每個不同的影格上開始每個視位的動畫
- 根據需要配置額外的曲線（例如下頜/嘴巴張開、舌頭位置等），以創造自然的視位形狀
8. 建立姿勢資產
- 前往
建立資產->姿勢資產->目前動畫 - 為姿勢資產輸入一個描述性名稱，並將其儲存在適當的位置
- 建立的姿勢資產會自動開啟，顯示如
Pose_0、Pose_1等姿勢，每個姿勢對應一個視位 - 預覽視位權重，以確保其運作符合預期
9. 完成姿勢資產
- 將每個姿勢重新命名，以符合先決條件章節中的視位名稱
- 刪除所有未使用的姿勢
設定音訊處理與混合
一旦您的姿勢資產準備就緒，您需要設定音訊處理與混合節點：
- 找到或建立角色的動畫藍圖
- 按照標準外掛程式設定指南中記錄的相同步驟，設定音訊處理與混合
- 在「混合執行時期 MetaHuman 嘴型同步」節點中，選取自訂的姿勢資產，而非預設的 MetaHuman 姿勢資產
結合身體動畫
若您希望將嘴型同步與其他身體動畫一同執行：
- 按照標準外掛指南中記錄的相同步驟操作
- 請務必提供角色頸部骨架的正確骨骼名稱，而非使用 MetaHuman 的骨骼名稱
結果
以下是使用此設定之自訂角色的範例：
口型同步的品質在很大程度上取決於特定角色及其視位（visemes）的設定完善程度。上述範例展示了該外掛程式與不同類型自訂角色（採用各異的視位系統）搭配運作的情況。