總覽
Runtime MetaHuman Lip Sync 是一款外掛，能為 MetaHuman 與自訂角色實現即時、離線且跨平台的唇形同步。它可讓你根據來自各種來源的音訊輸入來為角色的嘴唇製作動畫，包括：
- 透過 Runtime Audio Importer 的可擷取音訊波形輸入麥克風音訊
- 來自 Runtime Text To Speech 或 Runtime AI Chatbot Integrator 的合成語音
- 透過 Runtime Audio Importer 以多種格式串流或匯入的音訊資料
- 任何 float PCM 格式的音訊資料（浮點樣本陣列）
該外掛會根據音訊輸入在內部生成 viseme（音素的視覺化表示）。由於它直接處理音訊資料而非文字，此外掛支援多語言輸入，包括但不限於英文、西班牙文、法文、德文、日文、中文、韓文、俄文、義大利文、葡萄牙文、阿拉伯文和印地文。實際上任何語言都支援，因為脣形同步是根據音訊音素生成，而非依賴特定語言的文字處理。
標準模型會產生 14 個 viseme，並使用預先定義的姿勢資產來執行唇形同步動畫。相對地，寫實模型（專屬於 MetaHuman 及以 ARKit 為基礎的角色）會產生 81 項臉部控制變化，且不依賴預先定義的姿勢資產，因此能帶來明顯更加逼真的臉部動畫。
角色相容性
儘管名稱如此，Runtime MetaHuman Lip Sync 仍可搭配 MetaHuman 以外的各種角色使用：
熱門商業角色系統
- Daz Genesis 8/9 角色
- Reallusion Character Creator 3/4/5（CC3/CC4/CC5）角色
- Mixamo 角色
動畫標準支援
- 以 FACS 為基礎的 blendshape 系統
- Apple ARKit blendshape 標準
- Preston Blair 音素集
- 3ds Max 音素系統
- 任何具有用於臉部表情的自訂 morph target 的角色
許多熱門系統，包括 Reallusion CC4/CC5 和 Daz Genesis 8.1/9，也可以轉換為使用 ARKit 標準的 blendshape 名稱。這讓你能為這些角色使用 Realistic Model，享有其更高品質的臉部動畫，作為 Standard Model 手動 viseme 對應的替代方案。詳情請參閱將角色轉換為 ARKit Blendshapes。
關於使用 Standard Model 的非 MetaHuman 角色，請參閱自訂角色設定指南。關於使用 Realistic Models 的 ARKit 基礎角色，請參閱Morph Target 集選擇。
動畫預覽
來看看這些短動畫，了解該外掛在不同角色類型和模型上產生的唇形同步動畫品質：
主要功能
- 從麥克風輸入進行即時唇形同步
- 支援離線音訊處理
- 跨平台相容性，並針對特定模型提供平台支援
- 支援多種角色系統與動畫標準
- 為自訂角色提供靈活的 viseme 對應
- 通用語言支援 - 透過音訊分析適用於任何口說語言
- 情緒感知臉部動畫以增強表現力
- 可設定的輸出類型（全臉或僅嘴部控制）
- 選用的眼部動畫輔助工具，用於眨眼與視線追蹤
唇形同步模型
此外掛提供多種脣形同步模型，以滿足不同專案需求：
- 標準模型
- 寫實模型
- 支援情緒的寫實模型
標準唇形同步模型提供高效、跨平台的效能，並具備廣泛的角色相容性：
- 適用於 MetaHuman 及所有自訂角色類型
- 針對即時效能進行最佳化
- 更低的資源需求
- 平台支援：Windows、Android、基於 Android 的平台（包括 Meta Quest）
若要使用 Standard Model，你需要安裝額外的擴充外掛。請參閱先決條件章節以取得安裝說明。
逼真的唇形同步模型專為 MetaHuman 角色提供增強的視覺保真度：
- 相容於 MetaHuman 及基於 ARKit 的角色，並具備進階臉部動畫功能（81 個臉部控制項）
- 更高的視覺品質，嘴部動作更自然
- 效能需求略高
- 適用於即時應用程式的串流音訊處理
- 非常適合電影級體驗與角色特寫互動
- 三種最佳化等級：Original、Semi-Optimized 與 Highly Optimized
- 可設定的 morph target 組合（請參閱 Morph Target Set Selection）
- 平台支援：Windows、Mac、iOS、Linux、Android、基於 Android 的平台（包括 Meta Quest）
寫實模型已包含在主插件中，使用時不需要任何額外的擴充功能。
啟用情緒功能的寫實模型為 MetaHuman 角色提供具情緒感知的臉部動畫：
- 與 MetaHuman 及基於 ARKit 的角色相容，並具備情緒反應式臉部動畫（81 個臉部控制項）
- 12 種不同的情緒類型（Neutral、Happy、Sad、Confident 等）
- 可設定的情緒強度（0.0 至 1.0）
- 可調整的前瞻時序以改善同步效果（20ms 至 200ms）
- 可選擇的輸出類型：全臉或僅嘴部控制項
- 適用於即時應用程式的串流音訊處理
- 可設定的 morph target 集合（請參閱 Morph Target Set Selection）
- 平台支援：Windows、Mac、iOS、Linux、Android、基於 Android 的平台（包括 Meta Quest）
情緒啟用寫實模型已包含在主外掛中，使用時不需要任何額外的擴充功能。
你可以根據專案在效能、角色相容性、視覺品質、目標平台和功能需求方面的要求，選擇合適的模型。
運作方式
該外掛程式以下列方式處理音訊輸入：
- 音訊資料以浮點數 PCM 格式接收，並帶有指定的聲道數與取樣率
- 此外掛會處理音訊，並依模型不同產生臉部控制資料或視素
- 對於支援情緒的模型，會將情緒脈絡套用至臉部動畫
- 動畫資料會即時驅動角色的臉部動作
效能架構
Runtime MetaHuman Lip Sync 使用純 CPU 推論，以提供一致、低延遲的唇形同步結果，適合即時應用程式。根據預設，此外掛程式每 10 毫秒執行一次唇形同步處理（可調整——請參閱外掛程式設定以了解所有可用設定，包括處理區塊大小、執行緒數量及其他效能參數）。
模型架構總覽
唇形同步模型採用精簡的基於 transformer 的神經網路，透過梅爾頻譜分析來處理音訊。這種輕量級架構專為即時效能而設計，具備高效的 CPU 推論能力與極低的記憶體佔用。
為什麼要使用 CPU 推論？
對於即時唇形同步這類小型且頻繁的推論操作，CPU 處理能提供比 GPU 更好的延遲特性。在批次大小為 1、推論間隔為 10-100ms 的情況下，GPU 因 PCIe 傳輸與核心啟動所產生的額外負擔，往往超過實際的運算時間。此外，在遊戲引擎中，GPU 早已被渲染、著色器與物理運算佔滿，造成資源競爭，進而引入難以預測的延遲尖峰。
硬體相容性
該外掛在大多數中階及更高階的 CPU 上皆能高效運作，無需專用繪圖硬體，即可在桌面、行動裝置及 VR 平台上提供即時效能。對於較弱的硬體，您可以將 Model Type 調整為 Semi-Optimized 或 Highly Optimized，或增加 Processing Chunk Size，以在反應速度略微降低的情況下維持即時效能。
快速入門
以下是為你的角色啟用嘴型同步的基本設定：
- 針對 MetaHuman 角色，請遵循設定指南
- 針對自訂角色，請遵循自訂角色設定指南
- 選擇並設定您偏好的唇形同步模型
- 在您的 Blueprint 中設定音訊輸入處理
- 在 Animation Blueprint 中連接適當的唇形同步節點
- 播放音訊並觀看您的角色同步動畫
選用眼部動畫
此外掛程式還包含用於 MetaHuman 上自動眨眼與視線追蹤的選用輔助工具。這些功能獨立於脣形同步之外，可單獨使用，或疊加於其上。請參閱眼部動畫輔助工具。
其他資源
📦 下載與連結
示範專案：
有兩個可直接使用的示範專案可供使用——請參閱專屬的 示範專案 頁面，以取得完整詳細資訊、下載內容與逐步解說：
- 完整 AI 對話 NPC 工作流程 - 語音辨識 + LLM 聊天機器人 + TTS + 唇形同步
- 基礎唇形同步示範 - 麥克風輸入、音訊檔案、TTS
兩個示範皆為跨平台（Windows、Mac、Linux、iOS、Android、Meta Quest），並以封裝建置版本及完整的 UE 5.6+ 原始碼專案形式提供。
🎥 影片教學
精選示範：
寫實模型（高品質）教學：
- 從音訊檔案/緩衝區進行高品質唇形同步
- 具備情緒控制與本機 TTS 的高品質唇形同步
- 使用 ElevenLabs 與 OpenAI TTS 的高品質唇形同步
- 高品質即時麥克風唇形同步
- 適用於 ARKit 角色的高品質唇形同步
- 從遠端伺服器進行高品質唇形同步
標準模型教學：
一般設定：
💬 支援
- 客製化開發： [email protected]（為團隊與組織量身打造的解決方案）