外掛設定

模型設定

為每個播放功能重建逼真的模型生成器

為確保「Realistic」與「Mood-Enabled Realistic」模型能可靠運作，請在每次新的音訊播放前重新建立生成器，而非在長時間靜音期間重複使用同一個生成器。詳情請參閱疑難排解中的重新建立生成器。

標準模型配置

Create Runtime Viseme Generator 節點使用適用於大多數情境的預設設定。設定是透過 Animation Blueprint 混合節點屬性來處理的。

如需動畫藍圖（Animation Blueprint）的設定選項，請參閱下方的嘴型同步設定一節。

真實模型配置

Create Realistic MetaHuman Lip Sync Generator 節點接受一個可選的 Configuration 參數，讓您能自訂生成器的行為：

模型類型

模型類型設定決定要使用哪個版本的擬真模型：

模型類型	效能	視覺品質	噪音處理	建議使用情境
高度最佳化（預設）	最高效能，最低 CPU 使用率	良好品質	在背景噪音或非語音聲音下，可能出現明顯的嘴部動作	乾淨的音訊環境、效能關鍵情境
半最佳化	良好效能，中等 CPU 使用率	高品質	在吵雜音訊下具有更好的穩定性	效能與品質兼顧，混合音訊條件
原始	適用於現代 CPU 上的即時使用	最高品質	在背景噪音和非語音聲音下最穩定	高品質製作、吵雜音訊環境、需要最大精確度時

效能設定

Intra Op Threads： 控制用於內部模型處理作業的執行緒數量。

• 0（預設／自動）：使用自動偵測（通常為可用 CPU 核心數的 1/4，最多 4 個）
• 1-16：手動指定執行緒數量。較高的數值可能提升多核心系統的效能，但會使用更多 CPU 資源。

Inter Op 執行緒數： 控制用於不同模型操作平行執行的執行緒數量。

• 0（預設／自動）：使用自動偵測（通常為可用 CPU 核心數的 1/8，最多 2 個）
• 1-8：手動指定執行緒數量。通常為了即時處理而保持較低數值。

處理區塊大小

處理區塊大小決定每次推論步驟中處理多少樣本。預設值為160 個樣本（在 16kHz 下相當於 10 毫秒的音訊）：

• 較小的數值提供更頻繁的更新，但會增加 CPU 使用率
• 較大的數值可降低 CPU 負載，但可能降低口型同步的反應速度
• 建議使用 160 的倍數以達到最佳對齊效果

情緒啟用模型設定

Create Realistic MetaHuman Lip Sync With Mood Generator 節點提供了超越基本寫實模型的額外配置選項：

基本配置

前瞻毫秒數： 前瞻時間（以毫秒為單位），用於提升唇形同步的精確度。

• 預設值：80毫秒
• 範圍：20毫秒至200毫秒（必須能被20整除）
• 數值越高，同步效果越好，但延遲也會增加

輸出類型： 控制會生成哪些臉部控制項。

• 全臉：全部 81 個臉部控制（眉毛、眼睛、鼻子、嘴巴、下巴、舌頭）
• 僅嘴巴：僅與嘴巴、下巴和舌頭相關的控制

效能設定： 使用與一般擬真模型相同的「Intra Op Threads」與「Inter Op Threads」設定。

情緒設定

可用情緒：

• 中性、開心、悲傷、厭惡、憤怒、驚訝、恐懼
• 自信、興奮、無聊、俏皮、困惑

情緒強度： 控制情緒對動畫的影響程度（0.0 至 1.0）

執行時情緒控制

您可以在執行期間使用以下函式調整情緒設定：

• 設定情緒：變更目前的情緒類型
• 設定情緒強度：調整情緒對動畫的影響程度（0.0 至 1.0）
• 設定前瞻毫秒數：修改同步化的前瞻時間
• 設定輸出類型：在「全臉」與「僅嘴部」控制之間切換

情緒選擇指南

根據您的內容選擇合適的情緒：

Mood	最適合	典型強度範圍
中性	一般對話、旁白、預設狀態	0.5 - 1.0
快樂	正面內容、愉快對話、慶祝場合	0.6 - 1.0
悲傷	憂鬱內容、情感場景、沉重時刻	0.5 - 0.9
厭惡	負面反應、令人反感內容、拒絕	0.4 - 0.8
憤怒	攻擊性對話、對峙場景、挫折感	0.6 - 1.0
驚訝	意外事件、揭露真相、震驚反應	0.7 - 1.0
恐懼	威脅情境、焦慮、緊張對話	0.5 - 0.9
自信	專業簡報、領導對話、果斷發言	0.7 - 1.0
興奮	活力內容、公告、熱情對話	0.8 - 1.0
無聊	單調內容、興趣缺缺的對話、疲憊說話	0.3 - 0.7
俏皮	輕鬆對話、幽默、輕鬆愉快的互動	0.6 - 0.9
困惑	多提問對話、不確定、困惑	0.4 - 0.8

動畫藍圖設定

唇形同步設定

標準模型

Blend Runtime MetaHuman Lip Sync 節點在其屬性面板中具有配置選項：

屬性	預設值	說明
插值速度	25	控制嘴部動作在不同 viseme 之間轉換的速度。數值越高，轉換越快且越突兀。
重置時間	0.2	唇形同步在幾秒後被重置的持續時間。這有助於防止音訊停止後唇形同步仍繼續運作。

笑聲動畫

您也可以加入笑聲動畫，這些動畫會動態回應音訊中偵測到的笑聲：

1. 新增 Blend Runtime MetaHuman Laughter 節點
2. 將您的 RuntimeVisemeGenerator 變數連接到 Viseme Generator 接腳
3. 如果您已經在使用口型同步：
   • 將 Blend Runtime MetaHuman Lip Sync 節點的輸出連接到 Blend Runtime MetaHuman Laughter 節點的 Source Pose
   • 將 Blend Runtime MetaHuman Laughter 節點的輸出連接到 Output Pose 的 Result 引腳
4. 如果僅使用笑聲而不進行口型同步：
   • 將您的來源姿勢直接連接到 Blend Runtime MetaHuman Laughter 節點的 Source Pose
   • 將輸出連接到 Result 引腳

當在音訊中偵測到笑聲時，你的角色會動態地做出相應的動畫：

笑聲設定

Blend Runtime MetaHuman Laughter 節點有其自身的配置選項：

屬性	預設值	說明
插值速度	25	控制嘴唇動作在笑聲動畫之間轉換的速度。數值越高，轉換越快且越突兀。
重設時間	0.2	笑聲重設前的持續時間（以秒為單位）。這有助於防止音訊停止後笑聲仍持續播放。
最大笑聲權重	0.7	縮放笑聲動畫的最大強度（0.0 - 1.0）。

注意： 笑聲偵測目前僅適用於標準模型。

逼真模型

Blend Realistic MetaHuman Lip Sync 節點在其屬性面板中具有配置選項：

屬性	預設值	說明
插值速度	30	控制語音進行中面部表情轉換的速度。數值越高，轉換越快、越突然。
閒置插值速度	15	控制面部表情轉換回閒置／中性狀態的速度。數值越低，回到靜止姿勢的過程越平滑、越漸進。
重置時間	0.2	唇形同步在多少秒後重置為閒置狀態的持續時間。有助於防止音訊停止後表情仍持續。
保留閒置狀態	false	啟用後，在閒置期間保留最後的情緒狀態，而非重置為中性狀態。
保留眼部表情	true	控制閒置狀態下是否保留與眼部相關的面部控制。僅在啟用「保留閒置狀態」時有效。
保留眉毛表情	true	控制閒置狀態下是否保留與眉毛相關的面部控制。僅在啟用「保留閒置狀態」時有效。
保留嘴型	false	控制閒置狀態下是否保留嘴型控制（不包括舌頭和下顎等與語音相關的動作）。僅在啟用「保留閒置狀態」時有效。

閒置狀態保留

保留閒置狀態功能旨在處理 Realistic 模型在靜默期間的表現方式。與 Standard 模型不同——後者使用離散的 viseme，並在靜默時一致地回歸至零值——Realistic 模型的神經網路可能會維持細微的面部定位，而這可能與 MetaHuman 的預設靜止姿勢有所差異。

何時啟用：

• 在語音段落之間維持情緒表情
• 保留角色的人格特質
• 確保電影過場序列中的視覺連續性

區域控制選項：

• 眼部表情：保留眼睛瞇起、睜大以及眼瞼位置
• 眉毛表情：維持眉毛與前額的位置
• 嘴型：保持整體嘴部曲線，同時允許說話動作（舌頭、下巴）重置

結合現有動畫

影片逐步解說

偏好觀看影片勝過閱讀文字嗎？請查看涵蓋此確切設定的影片教學。

若要將嘴型同步與笑聲套用到既有的身體動畫與自訂臉部動畫上，同時不覆蓋它們：

身體動畫

此設定適用於臉部動畫藍圖（Animation Blueprint），因為口型同步（lip sync）不屬於身體動畫藍圖的一部分。對於自訂身體動畫（例如軀幹、手臂及其他身體動作），只需將您的動畫序列（透過 Sequence Player）直接連接到身體動畫藍圖中的輸出姿勢即可。該處無需額外設定。

1. 在您的身體動畫與最終輸出之間，新增一個 Layered blend per bone 節點。確保 Use Attached Parent 為 true。
2. 設定圖層配置：
   • 在 Layer Setup 陣列中新增 1 個項目
   • 為該圖層的 Branch Filters 新增 3 個項目，其 Bone Name 如下：
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. 自訂臉部動畫的重要事項： 在 曲線混合選項 中，選擇 「使用最大值」。這可讓自訂臉部動畫（表情、情緒等）正確地疊加在口型同步之上。
4. 建立連接：
   • 您的自訂動畫（通常是帶有所需動畫序列資產的 Sequence Player）→ Base Pose 輸入
   • 臉部動畫輸出（來自口型同步及/或笑聲節點）→ Blend Poses 0 輸入
   • 分層混合節點 → 最終 Result 姿勢

形變目標集選擇

標準模型

標準模型使用姿勢資產，其本質上透過自訂姿勢資產設定支援任何形態目標命名慣例。無需額外設定。

逼真模型

Blend Realistic MetaHuman Lip Sync 節點包含一個 Morph Target Set 屬性，用於決定臉部動畫要採用哪一種形變目標命名慣例：

形變目標集	描述	使用情境
MetaHuman（預設）	標準 MetaHuman 形變目標名稱（例如 CTRL_expressions_jawOpen）	MetaHuman 角色
ARKit	與 Apple ARKit 相容的名稱（例如 JawOpen、MouthSmileLeft）	基於 ARKit 的角色

將角色轉換為 ARKit 混合形狀

如果您的角色原生不使用 ARKit 標準的 blendshape 名稱，有幾種常見的商業角色系統可以轉換以產生這些名稱，讓您能改用上述的 ARKit Morph Target Set，而不必像標準模型那樣進行手動 viseme 對應流程。

Reallusion CC4/CC5 與 Daz Genesis 8.1/9 轉換指南（點擊展開）

Reallusion CC4/CC5

開始之前，請確保你的角色「臉部設定檔」已設定為 CC4 Extended（而非 Standard、Extended-Plus 或更新的 HD 臉部設定檔）。此腳本的 blendshape 對應是針對 Extended 的滑桿名稱進行硬編碼，其他設定檔使用不同的命名慣例，腳本會靜默跳過或無法找到預期的滑桿。

1. 下載此腳本：rl_export_arkit_objs.py

2. 在文字編輯器中開啟腳本，並在標示為 output_dir = "path/to/your/target/folder" 的地方，指派路徑到您的匯出資料夾。請務必使用正斜線 /。

3. 在 Character Creator 中，選擇您的角色，然後在頂部選單的 Script 下選取 Load Python。接著選取您剛才編輯的腳本。該腳本現在會從預設的 Reallusion 滑桿建立完整的 ARKit 混合形狀組，並將其匯出為 OBJ 檔案。這可能需要幾分鐘的時間。

   

4. 您現在可以透過前往 Facial Profile Editor 視窗來匯入這些形狀。點擊 Edit Expressions 按鈕，並在下拉選單 Batch Import 中選擇 OBJ。

   

5. 您可以在這裡匯入先前參照的資料夾。這將列出所有 ARKit 形狀。在目標類別中輸入名稱，例如 AR_Kit，然後點擊確定。

   

6. 這將在 Expression 下建立一個新類別。您可以停用所有其他類別。

   

一旦設定好 ARKit 類別後，照常將角色匯出為 FBX。這會賦予角色標準的 52 個 ARKit 混合形狀，接著您就可以搭配上方 ARKit 的形變目標集選項來使用。

注意： 在 CC4 的骨架中，下巴運動部分是由骨骼旋轉驅動，而非純粹的 blendshape，因此 jawOpen 在匯出後可能看起來效果較弱，或無法令人信服地張開嘴巴。若發生此情況，請在 FBX 匯出選項中啟用 Mouth Open as Morph，這會將下巴的骨骼驅動動作烘焙到專用的 blendshape 中，該 blendshape 可被指派為 jawOpen 的來源，取代預設的 blendshape。

替代方案：轉換為 MetaHuman。 與其直接從 CC4/CC5 匯出 ARKit 混合變形，您可以將角色轉換為 MetaHuman，並使用其原生的臉部綁定來進行口型同步。請參閱此教學以了解轉換流程。如果您選擇此方式，請改為選取 MetaHuman 變形目標集 選項，而非 ARKit。

Daz Genesis 8/8.1/9

Daz 的 FACS 形變，原生支援 Genesis 8.1 和 Genesis 9，已與 ARKit 相容，無需重新命名。一般 Genesis 8（非 8.1）預設不包含這些。您需要改用 Genesis 8.1，或另外新增 FACS 形變包。

目前積極維護中的 Diffeomorphic 附加元件（一個 Daz Studio 與 Blender 的橋接工具，並非 Daz 3D 的附屬產品）是將這些內容匯入 Unreal 的推薦方式：

1. 在 Blender 中，使用 Diffeomorphic 的 Easy Import DAZ 工具，並選擇正確的世代預設（G8.1 或 G9），同時啟用 FACS 匯入選項。請參閱 Easy Import DAZ 指南。
2. 這會將 FACS 形變以 Blender 形狀鍵的形式匯入。從 Blender 將角色匯出為 FBX 時，形狀鍵名稱會沿用為形變目標名稱。

匯出後，請使用上方的 ARKit 形變目標集 選項。

注意： 睫毛與眼球上的視線方向形狀可能無法完全轉移，因為它們的驅動方式與主要臉部網格不同，但這不影響唇形同步，因為唇形同步只需要嘴巴與下顎的形狀。

微調口型同步行為

縮放特定嘴型同步曲線

你可以使用 Modify Curve 節點來衰減（或增強）唇形同步產生的個別臉部動作。當某條曲線在你的音訊內容或角色上看起來過於明顯時，這會很有用。

設定：

1. 在您的嘴型同步混合節點之後，新增一個 Modify Curve 節點
2. 在節點上按右鍵並選擇 Add Curve Pin，然後輸入您想要縮放的曲線名稱
3. 將節點的 Apply Mode 屬性設定為 Scale
4. 設定 Value 參數：低於 1.0 的值會衰減動作，高於 1.0 的值會放大動作（例如，0.8 = 減少 20%）

常見的縮放曲線：

曲線名稱	用途	適用對象	典型調整
CTRL_expressions_tongueOut	某些音素期間的舌頭向前突出	標準模型	0.8 以減少突出
CTRL_expressions_jawOpen	下顎張開範圍	擬真模型	0.9 以減少下顎動作

您可以在同一個 Modify Curve 節點上新增多個曲線接腳，以便一次縮放多條曲線。

情緒特定微調

對於支援情緒的模型，您可以微調特定的情緒表達：

眉毛控制：

• CTRL_expressions_browRaiseInL / CTRL_expressions_browRaiseInR - 眉毛內側上揚
• CTRL_expressions_browRaiseOuterL / CTRL_expressions_browRaiseOuterR - 眉毛外側上揚
• CTRL_expressions_browDownL / CTRL_expressions_browDownR - 眉毛下壓

眼部表情控制：

• CTRL_expressions_eyeSquintInnerL / CTRL_expressions_eyeSquintInnerR - 眼睛瞇起
• CTRL_expressions_eyeCheekRaiseL / CTRL_expressions_eyeCheekRaiseR - 臉頰上提

模型比較與選擇

在模型之間做選擇

在決定專案要使用哪種口型同步模型時，請考量以下因素：

考量	標準模型	寫實模型	支援情緒的寫實模型
角色相容性	MetaHumans 與所有自訂角色類型	MetaHumans（以及 ARKit）角色	MetaHumans（以及 ARKit）角色
視覺品質	良好的嘴型同步與高效能表現	增強的寫實度，搭配更自然的口部動作	增強的寫實度，搭配情緒表情
效能	針對所有平台最佳化，包括行動裝置／VR	較高的資源需求	較高的資源需求
功能	14 個 viseme、笑聲偵測	81 組臉部控制、3 種最佳化等級	81 組臉部控制、12 種情緒、可設定輸出
平台支援	Windows、Android、Quest	Windows、Mac、iOS、Linux、Android、Quest	Windows、Mac、iOS、Linux、Android、Quest
使用情境	一般應用程式、遊戲、VR／AR、行動裝置	電影級體驗、近距離互動	情緒敘事、進階角色互動

引擎版本相容性

UE 5.2 相容性問題

若您使用的是 Unreal Engine 5.2，由於 UE 重新取樣程式庫的錯誤，Realistic Models 可能無法正常運作。對於需要穩定口型同步功能的 UE 5.2 使用者，請改用 Standard Model。

此問題僅限於 UE 5.2，不影響其他引擎版本。

效能建議

• 對大多數專案而言，標準模型在品質與效能之間提供了絕佳的平衡
• 當您需要 MetaHuman 角色達到最高視覺逼真度時，請使用擬真模型
• 當情緒表達控制對您的應用程式很重要時，請使用支援情緒的擬真模型
• 在選擇模型時，請考量目標平台的效能能力
• 測試不同的最佳化等級，以找出最適合您特定使用情境的平衡點

故障排除

常見問題

為擬真模型重新建立生成器： 為了在擬真模型上獲得可靠且一致的運作，建議在閒置一段時間後，每次要輸入新的音訊資料時，都重新建立生成器。這是因為 ONNX 執行階段的行為，在長時間靜音後重複使用生成器，可能會導致嘴型同步停止運作。

例如，您可以在每次播放開始時重新建立唇形同步生成器，例如每當您呼叫「Play Sound 2D」或使用任何其他方法來啟動聲波播放與唇形同步時：

Runtime Text To Speech 整合的插件位置： 當您同時使用 Runtime MetaHuman Lip Sync 與 Runtime Text To Speech（兩個插件皆使用 ONNX Runtime）時，若插件安裝在引擎的 Marketplace 資料夾中，可能會遇到問題。若要修正此問題：

1. 在您的 UE 安裝資料夾中，於 \Engine\Plugins\Marketplace 下找到這兩個外掛程式（例如：C:\Program Files\Epic Games\UE_5.6\Engine\Plugins\Marketplace）
2. 將 RuntimeMetaHumanLipSync 和 RuntimeTextToSpeech 這兩個資料夾移至您專案的 Plugins 資料夾中
3. 如果您的專案沒有 Plugins 資料夾，請在與您的 .uproject 檔案相同的目錄中建立一個
4. 重新啟動 Unreal Editor

這解決了當多個基於 ONNX Runtime 的外掛程式從引擎的 Marketplace 目錄載入時可能發生的相容性問題。

封裝設定（Windows）： 如果唇形同步在 Windows 的封裝專案中無法正常運作，請確保您使用的是 Shipping 建置設定，而非 Development。Development 設定可能會在封裝建置中導致 realistic 模型的 ONNX runtime 出現問題。

要修正這個問題：

1. 在您的專案設定 → 打包中，將建置組態設定為 Shipping
2. 重新打包您的專案

僅限藍圖專案

在某些僅使用 Blueprint 的專案中，即使選取了 Shipping 組態，Unreal Engine 仍可能以 Development 組態進行建置。如果發生這種情況，請透過新增至少一個 C++ 類別（可以是空的）將專案轉換為 C++ 專案。作法是在 UE 編輯器選單中前往 工具 → 新增 C++ 類別，並建立一個空的類別。這將強制專案以正確的 Shipping 組態進行建置。您的專案在功能上仍可維持僅使用 Blueprint，C++ 類別只是為了確保正確的建置組態而存在。

唇形同步反應延遲：

如果您在使用串流音波（Streaming Sound Wave）或可捕捉音波（Capturable Sound Wave）時，發現唇形同步隨著時間推移而反應變慢，這可能是由記憶體累積所導致。預設情況下，每次附加新音訊時都會重新分配記憶體。為防止此問題，請定期呼叫 ReleaseMemory 函式來釋放累積的記憶體，例如每隔約 30 秒執行一次。

效能最佳化：

• 根據您的效能需求，為擬真模型調整處理區塊大小
• 針對您的目標硬體使用適當的執行緒數量
• 當不需要完整臉部動畫時，請考慮對支援情緒的模型使用僅嘴部（Mouth Only）輸出類型