概述

Runtime MetaHuman Lip Sync 是一個插件，可為 MetaHuman 和自訂角色提供即時、離線且跨平台的嘴型同步功能。它能讓您根據來自各種來源的音訊輸入來驅動角色的嘴部動畫，這些來源包括：

透過 Runtime Audio Importer's 的可捕捉聲波進行麥克風輸入
來自 Runtime Text To Speech 或 Runtime AI Chatbot Integrator 的合成語音
透過 Runtime Audio Importer 以多種格式串流或匯入的音訊資料
任何以浮點 PCM 格式（浮點樣本陣列）呈現的音訊資料

該插件會根據音訊輸入在內部生成視素（音素的視覺表現）。由於它直接處理音訊數據而非文字，該插件支援多語言輸入，包括但不限於英語、西班牙語、法語、德語、日語、中文、韓語、俄語、義大利語、葡萄牙語、阿拉伯語和印地語。實際上任何語言都受支援，因為嘴型同步是從音訊音素生成，而非依賴特定語言的文字處理。

標準模型會產生 14 個視位，並使用預先定義的姿勢資產來執行唇形同步動畫。相比之下，擬真模型（專屬於 MetaHuman 和基於 ARKit 的角色）會產生 81 項臉部控制變化，無需依賴預先定義的姿勢資產，從而實現更為逼真的臉部動畫。

角色相容性

儘管名稱如此，Runtime MetaHuman Lip Sync 仍可與 MetaHuman 以外的多種角色搭配使用：

動畫標準支援

基於FACS的混合變形系統
Apple ARKit 混合變形標準
Preston Blair 音素集
3ds Max 音素系統
任何具有自訂面部表情變形目標的角色

對於使用標準模型的非MetaHuman角色，請參閱自訂角色設定指南。對於使用寫實模型的ARKit角色，請參閱形態目標集選擇。

動畫預覽

請觀看這些短動畫，了解外掛程式在不同角色類型與模型上所產生的嘴型同步動畫品質：

使用 MetaHuman 角色的逼真模型

標準模型搭配 MetaHuman 角色

標準模型搭配自訂角色

主要特色

從麥克風輸入進行即時嘴型同步
支援離線音訊處理
跨平台相容性，並提供特定模型的平台支援
支援多種角色系統與動畫標準
靈活的嘴型映射，適用於自訂角色
通用語言支援——透過音訊分析適用於任何口語語言
情緒感知臉部動畫，提升表現力
可設定的輸出類型（全臉或僅嘴部控制）
可選的眼部動畫輔助工具，用於眨眼與視線追蹤

唇形同步模型

此插件提供多種嘴型同步模型，以滿足不同專案需求：

標準模型
真實模型
情緒驅動的逼真模型

標準唇形同步模型提供高效、跨平台的效能，並具備廣泛的角色相容性：

支援 MetaHuman 及所有自訂角色類型
針對即時效能進行最佳化
較低的資源需求
平台支援：Windows、Android、Android 平台（包含 Meta Quest）

需要擴展插件

若要使用標準模型，您需要安裝額外的擴充外掛程式。請參閱先決條件章節以了解安裝說明。

您可以根據專案需求，在效能、角色相容性、視覺品質、目標平台及功能需求等方面，選擇合適的模型。

運作方式

該插件以以下方式處理音訊輸入：

音訊資料以浮點數 PCM 格式接收，並帶有指定的聲道數與取樣率
外掛程式會處理音訊，以根據模型產生臉部控制資料或視素
對於支援情緒的模型，情緒脈絡會套用至臉部動畫
動畫資料即時驅動角色的臉部動作

效能架構

Runtime MetaHuman Lip Sync 僅使用 CPU 推論，以提供適合即時應用的一致、低延遲嘴型同步結果。預設情況下，外掛程式每 10 毫秒 執行一次嘴型同步處理（可調整 — 請參閱外掛程式設定以了解所有可用設定，包括處理區塊大小、執行緒數量及其他效能參數）。

## 模型架構概覽

唇形同步模型採用基於Transformer的緊湊型神經網路，透過梅爾頻譜分析處理音訊。此輕量級架構專為即時效能設計，具備高效CPU推論能力與極低記憶體佔用。

為何使用 CPU 推理？

對於小型且頻繁的推論操作（如即時唇形同步），CPU 處理能提供比 GPU 更佳的延遲特性。在批次大小為 1、推論間隔為 10-100 毫秒的情況下，GPU 因 PCIe 傳輸與核心啟動所產生的開銷，往往超過實際的運算時間。此外，在遊戲引擎中，GPU 已因渲染、著色器與物理運算而處於飽和狀態，這會造成資源競爭，進而引發不可預測的延遲峰值。

硬體相容性

該插件在多數中階及更高階的CPU上能高效運作，無需專用圖形硬體，即可在桌面、行動裝置及VR平台上提供即時效能。若硬體效能較弱，可將模型類型調整為半最佳化或高度最佳化，或增加**處理區塊大小**，以在略微降低反應速度的情況下維持即時效能。

快速入門

以下是為角色啟用嘴型同步的基本設定：

針對 MetaHuman 角色，請遵循設定指南
針對自訂角色，請遵循自訂角色設定指南
選擇並設定您偏好的嘴型同步模型
在您的 Blueprint 中設定音訊輸入處理
在動畫藍圖中連接適當的嘴型同步節點
播放音訊，即可看到您的角色同步動畫

選擇性眼部動畫

此外，該插件還包含用於 MetaHuman 的自動眨眼和視線追蹤的選用輔助功能。這些功能與唇形同步無關，可獨立使用或疊加於其上。請參閱眼部動畫輔助工具。

其他資源

📦 下載與連結

示範專案：

提供兩個可直接使用的示範專案——請參閱專屬的 示範專案 頁面，以取得完整詳細資訊、下載連結及操作指南：

完整 AI 對話 NPC 工作流程 - 語音辨識 + LLM 聊天機器人 + TTS + 嘴型同步
基本嘴型同步示範 - 麥克風輸入、音訊檔案、TTS

兩個示範皆為跨平台（Windows、Mac、Linux、iOS、Android、Meta Quest），並以封裝建置版本及完整的 UE 5.6+ 原始專案形式提供。

🎥 影片教學

精選示範：

真實模型（高品質）教學：

標準模型教學：

一般設定：

💬 支援

客製開發： [email protected]（為團隊與組織提供的量身解決方案）

Join our Discord

online · support

角色相容性​

熱門商業角色系統​

動畫標準支援​

動畫預覽​

主要特色​

唇形同步模型​

運作方式​

效能架構​

## 模型架構概覽​

為何使用 CPU 推理？​

硬體相容性​

快速入門​

選擇性眼部動畫​

其他資源​

📦 下載與連結​

🎥 影片教學​

精選示範：​

真實模型（高品質）教學：​

標準模型教學：​

一般設定：​

💬 支援​