如何搭配自訂角色使用外掛程式
本指南將引導您完成為非 MetaHuman 角色設定 Runtime MetaHuman Lip Sync 的流程。此過程需要熟悉動畫概念與骨架綁定。如果您需要針對特定角色進行實作的協助，可以透過 [email protected] 尋求專業支援。
關於口型同步模型的重要說明
本指南涵蓋不使用 MetaHuman 或 ARKit 形變目標命名慣例的自訂角色。
Realistic (Higher Quality) 模型適用於其變形目標遵循 MetaHuman 或 ARKit 命名標準的角色，可透過變形目標集選擇進行設定。如果您的角色已使用（或可匯出／轉換為使用）符合 ARKit 標準的混合變形名稱，則可直接使用 Realistic 模型，而不必遵循本指南的手動對映流程。如需常見角色（如 CC4/CC5 與 Daz Genesis），請參閱將角色轉換為 ARKit 混合變形。
若你的角色使用不同的形變目標組合（例如 Daz Genesis、Reallusion CC3/CC4/CC5、Mixamo，或簡化的自訂骨架綁定），Standard (Faster) 模型是受支援的選項，請依照下列步驟操作。
需要擴充外掛程式： 若要將 Standard Model 搭配自訂角色使用，您必須依照主要設定指南中先決條件章節的說明，安裝 Standard Lip Sync Extension 外掛程式。
此擴充功能是本指南所述之所有自訂角色實作所必需的。
先決條件
開始之前，請確保您的角色符合以下要求：
- 具有有效的骨架
- 包含用於臉部表情的形態目標（混合形狀）
- 理想上具有 10+ 個定義視位的形態目標（視位越多 = 唇形同步品質越好）
此插件要求將角色的形態目標對應至下列標準視素：
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
注意： 如果您的角色有不同的一組視素（這很有可能），您不需要為每個視素進行精確匹配。近似通常就足夠了——例如，將您角色的 SH 視素映射到外掛程式的 CH 視素會很有效，因為它們是密切相關的齦後音。
視素映射參考
以下是常見的視素系統與外掛程式要求之視素之間的對應：
- Apple ARKit
- 基於 FACS 的系統
- Preston Blair System
- 3ds Max 音素系統
- 自訂角色（Daz Genesis 8/9、Reallusion CC3/CC4/CC5、Mixamo）
ARKit 提供了一套全面的混合變形，用於面部動畫，包括多種嘴部形狀。以下是如何將它們對應到 RuntimeMetaHumanLipSync 的視位：
| RuntimeMetaHumanLipSync 視素 | ARKit 等效方案 | 筆記 |
|---|---|---|
| Sil | mouthClose | 中性/靜止位置 |
| PP | mouthPressLeft + mouthPressRight | 對於雙唇音，請同時使用兩種抿唇形狀。 |
| FF | lowerLipBiteLeft + lowerLipBiteRight（或 mouthRollLower） | 下唇接觸上排牙齒，如發出「f」和「v」的音時。 |
| TH | tongueOut | ARKit 具有直接的舌頭控制。 |
| DD | jawOpen (mild) + tongueUp (if you have tongue rig) | 舌頭接觸齒槽脊；下顎微微下沉 |
| KK | mouthLeft or mouthRight (mild) | 嘴角的輕微拉動可近似軟齶音。 |
| CH | jawOpen (mild) + mouthFunnel (mild) | 結合使用以發出齦後音 |
| SS | mouthFrown | 對噝音使用輕微皺眉 |
| NN | jawOpen (very mild) + mouthClose | 幾乎閉合的嘴巴，下顎微微張開。 |
| RR | mouthPucker (mild) | r 音的細微圓唇 |
| AA | jawOpen + mouthStretchLeft + mouthStretchRight (或 jawOpen + mouthOpen) | 張大嘴巴以發出「啊」音。 |
| E | jawOpen (mild) + mouthSmile | 半開位置，帶有輕微微笑。 |
| IH | mouthSmile (mild) | 嘴唇輕微展開 |
| OH | mouthFunnel | 圓潤的開放形狀 |
| OU | mouthPucker | 雙唇緊縮呈圓形 |
FACS（臉部動作編碼系統）使用動作單元（AUs）來描述臉部動作。許多專業動畫系統採用基於 FACS 的方法：
| RuntimeMetaHumanLipSync 視位 | FACS 動作單元 | 筆記 |
|---|---|---|
| Sil | 中性 | 沒有啟用中的 AU |
| PP | AU23 + AU24 | 嘴唇壓緊 + 嘴唇收緊 |
| FF | AU22 + AU28 | 嘴唇漏斗狀 + 嘴唇吸吮 |
| TH | AU25 (mild) + AU27 | 嘴唇分開 + 嘴部伸展 |
| DD | AU25 + AU16 | 嘴唇分開 + 下唇下拉 |
| KK | AU26 + AU14 | 下顎張開 + 酒窩肌 |
| CH | AU18 + AU25 | 噘嘴 + 雙唇分開 |
| SS | AU20 | 嘴唇拉伸器 |
| NN | AU25 (very mild) | 雙唇微張 |
| RR | AU18 (mild) | 輕度噘嘴 |
| AA | AU27 + AU26 | 嘴部拉伸 + 下顎張開 |
| E | AU25 + AU12 | 雙唇分開 + 嘴角上提 |
| IH | AU12 + AU25 (mild) | 嘴角上揚 + 嘴唇微微張開 |
| OH | AU27 (mild) + AU18 | 輕微嘴部拉伸 + 嘴唇噘起 |
| OU | AU18 + AU26 (mild) | 嘴唇嘟起，下巴輕微張開 |
Preston Blair 系統是經典的動畫標準，使用描述性的名稱來代表嘴型：
| RuntimeMetaHumanLipSync 視素 | Preston Blair | 備註 |
|---|---|---|
| Sil | Rest | 中性閉嘴位置 |
| PP | MBP | 經典的「MBP」口型 |
| FF | FV | 牙齒放在下唇上的「FV」位置。 |
| TH | TH | 舌頭接觸前牙 |
| DD | D/T/N | 這些子音的發音位置相似 |
| KK | CKG | 硬輔音位置 |
| CH | CH/J/SH | 這些聲音的輕微嘟嘴 |
| SS | S/Z | 牙齒微張的位置 |
| NN | N/NG/L | 與 D/T 相似，但舌位不同 |
| RR | R | R 音的圓唇動作 |
| AA | AI | 嘴巴張大 |
| E | EH | 中等張嘴 |
| IH | EE | 張開雙唇 |
| OH | OH | 中等圓形開口 |
| OU | OO | 緊閉圓唇 |
3ds Max 為其 character studio 使用基於音素的系統：
| RuntimeMetaHumanLipSync 視位 | 3ds Max 音素 | 筆記 |
|---|---|---|
| Sil | rest | 預設嘴部位置 |
| PP | p_b_m | 直接對應 |
| FF | f_v | 直接等效 |
| TH | th | 直接對應 |
| DD | t_d | 直接對等 |
| KK | k_g | 直接等效 |
| CH | sh_zh_ch | 組合形狀 |
| SS | s_z | 直接等效 |
| NN | n_l | 為這些聲音組合而成 |
| RR | r | 直接對應 |
| AA | ah | 開元音 |
| E | eh | 中元音 |
| IH | ee | 閉前元音 |
| OH | oh | 後圓唇元音 |
| OU | oo | 閉後元音 |
具有視素或嘴部混合變形／型變目標的自訂角色（例如 Daz Genesis 8/9、Reallusion CC3/CC4/CC5、Mixamo 等），通常可透過合理的近似方式對應至外掛程式的視素系統。
建立自訂 Pose Asset
請依照以下步驟，為您的角色建立自訂姿勢資產，此資產將與 Blend Runtime MetaHuman Lip Sync 節點搭配使用：
1. 找到你角色的骨架網格
尋找包含您要用於口型同步動畫的形態目標（混合形狀）的骨骼網格。根據角色設計，這可能是全身網格或僅是臉部網格。
2. 驗證變形目標和曲線
在繼續之前，請檢查您的骨骼網格是否具有適當的變形目標和對應的曲線，以用於口型同步動畫。
檢查變形目標： 確認您的骨骼網格體包含可作為口型同步動畫之視素的變形目標（混合形狀）。大多數支援臉部動畫的角色都應具備一些音素/視素變形目標。
重要：確認曲線頁籤 此步驟對於從 Blender 或其他外部軟體匯出的角色尤其關鍵：
- 在骨架網格編輯器中開啟「曲線」索引標籤
- 檢查你是否能看到對應於你的變形目標的曲線
- 如果「曲線」索引標籤為空但變形目標存在，手動新增新的曲線，使用與你的變形目標完全相同的名稱
注意： 此問題常見於 Blender 匯出的檔案中：變形目標能成功匯入，但動畫曲線不會自動建立。若沒有對應的曲線，烘焙至 Control Rig 後，動畫將無法正確填入。
替代方案： 若要防止在從 Blender 匯出時發生此問題，請嘗試在 FBX 匯出設定中啟用自訂屬性和動畫，這可能有助於將動畫曲線與變形目標一起包含在內。
3. 建立參考姿勢動畫
- 前往
建立資產 -> 建立動畫 -> 參考姿勢 - 輸入動畫序列的描述性名稱，並將其儲存在合適的位置。
- 新建立的動畫序列會自動開啟，顯示一個循環播放的空白動畫。
- 點擊
Pause按鈕以停止動畫播放，方便後續編輯。
4. 編輯動畫序列
- 按一下
在 Sequencer 中編輯->使用 FK 控制綁定編輯 - 在
烘焙到控制綁定對話方塊中，直接按一下烘焙到控制綁定按鈕，不要變更任何設定。
- 編輯器將切換到
Animation Mode，並開啟Sequencer索引標籤 - 將
View Range End Time設定為 0016（這也會自動將Working Range End設定為 0016） - 將滑桿的右邊緣拖曳到 Sequencer 視窗的最右端
5. 準備動畫曲線
- 返回動畫序列資產，並在
Curves清單中找出變形目標（如果看不見，請關閉並重新開啟動畫序列資產） - 移除任何與你想用於口型同步的視素或嘴部動作無關的變形目標
6. 規劃你的視位映射
建立對應計畫，將角色的視素對應至外掛程式所需的視素集合。例如：
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
請注意，當您的角色的 viseme 集合沒有完全對應每個所需 viseme 時，重複映射是可接受的。
7. 為每個視素製作動畫
- 針對每個口型，以動畫方式將相關的形態目標曲線從 0.0 調整到 1.0
- 讓每個口型動畫從不同的影格開始
- 視需要設定其他曲線（如下顎／嘴巴張開程度、舌頭位置等），以呈現自然的口型
8. 建立姿勢資產
- 前往
建立資產->姿勢資產->目前動畫 - 為姿勢資產輸入描述性名稱，並將其儲存到合適的位置
- 建立的姿勢資產會自動開啟，顯示如
Pose_0、Pose_1等姿勢，每個姿勢對應一個視素 - 預覽視素權重，以確保其如預期般運作
9. 完成姿勢資產
- 重新命名每個姿勢，以符合先決條件一節中的視素名稱
- 刪除任何未使用的姿勢
設定音訊處理與混合
一旦您的姿勢資產準備就緒，您需要設定音訊處理與混合節點：
- 找到或建立您角色的 Animation Blueprint
- 按照標準外掛程式設定指南中記載的相同步驟，設定音訊處理與混合。
- 在
Blend Runtime MetaHuman Lip Sync節點中，選擇您自訂的姿勢資產，而不是預設的 MetaHuman 姿勢資產。
結合身體動畫
如果您想在執行其他身體動畫的同時進行口型同步：
- Follow the same steps as documented in the 標準外掛指南
- 請務必為您角色的頸部骨骼提供正確的骨骼名稱，而不是使用 MetaHuman 的骨骼名稱。
結果
以下是使用此設定的自訂角色範例：
口型同步的品質在很大程度上取決於角色本身，以及其視素（viseme）的設定完善程度。上述範例展示了此外掛程式如何與具有不同視素系統的各種自訂角色搭配運作。