示範專案

為了協助您快速上手 Runtime MetaHuman Lip Sync，我們提供了兩個可直接使用的示範專案。兩者皆以 Unreal Engine 5.6+ 建置，僅使用 Blueprint，並可跨平台執行於 Windows、Mac、Linux、iOS、Android 及 Android 平台（包含 Meta Quest）。

可用的示範專案

AI 對話 NPC / 互動式虛擬角色

一個完整的 AI 對話虛擬角色工作流程，結合了語音辨識、AI 聊天機器人（LLM）、文字轉語音、音訊播放以及即時嘴型同步——全部在單一專案中同時運作。適用於多種使用情境，包括遊戲、互動式資訊站、虛擬製作、博物館裝置、數位助理以及訓練模擬。

## 流程概覽

🎤 Microphone → Speech Recognition → 💬 LLM Chatbot → 🔊 Text-to-Speech → 👄 Lip Sync + Playback

影片

快速預覽（約30秒）

簡短的示範展示影片。

完整逐步指南

詳細逐步指南，涵蓋設定、配置及完整的對話流程。

下載

• 下載封裝版示範（Windows）
• 下載原始碼檔案（UE 5.6+）

必要與選用插件

示範專案是模組化的——您只需要安裝所需供應商的插件即可。

外掛程式	目的	必要嗎？
Runtime MetaHuman Lip Sync	唇形同步動畫	✅ 總是
Runtime Audio Importer	音訊擷取與處理	✅ 總是
Runtime Speech Recognizer	離線語音辨識 (whisper.cpp)	✅ 總是
Runtime AI Chatbot Integrator	外部 LLM（OpenAI、Claude、DeepSeek、Gemini、Grok、Ollama）和/或外部 TTS（OpenAI、ElevenLabs）	🔶 可選
Runtime Local LLM	透過 llama.cpp 進行本地 LLM 推論（Llama、Mistral、Gemma 等 GGUF 模型）	🔶 可選
Runtime Text To Speech	透過 Piper 與 Kokoro 實現本地端 TTS	🔶 可選

選用插件 - 提供者需求

雖然上述每個外掛都是獨立可選的，但示範運作需要至少一個 LLM 提供者和至少一個 TTS 提供者。您可以自由混搭（例如本地 LLM + ElevenLabs TTS，或 OpenAI LLM + 本地 TTS）。

模組化架構

在 Content 資料夾中，您會找到一個 Modules 資料夾，其中包含三個子資料夾：

Content/
└── Modules/
    ├── RuntimeAIChatbotIntegrator/   ← External LLMs and/or external TTS
    ├── RuntimeLocalLLM/              ← Local LLM via llama.cpp
    └── RuntimeTextToSpeech/          ← Local TTS via Piper/Kokoro

若您未取得一個（或多個）選用外掛程式，只需刪除對應的資料夾即可。示範專案的基本素材（遊戲實例、小工具等）並未直接參照這些模組，因此刪除後不會造成素材參照錯誤。設定介面會自動隱藏任何缺少對應資料夾的提供者。

備註

此模組化僅適用於 LLM 與 TTS 提供者。語音辨識（Runtime Speech Recognizer）與嘴型同步（Runtime MetaHuman Lip Sync）屬於基礎示範專案的一部分，且為必備元件。

注意

首次啟動時，Unreal 可能會詢問是否要停用任何遺失的選用外掛程式 — 請點選是。請同時確認您已刪除對應的 Content/Modules/ 資料夾（請參閱上方說明）。

示範專案佈局

UI 僅供示範用途

下方顯示的使用者介面完全以 UMG（Unreal Motion Graphics）建構，其目的純粹是為了展示流程——語音辨識 → LLM → TTS → 嘴型同步。您可以自由重新設計或替換，以符合專案的視覺風格、控制方式或平台（VR/AR、手機、主機、資訊站等）。若某些小工具在您的使用情境中不需要，也可以直接隱藏（例如將其可見性設為 Collapsed 或 Hidden）。

Area	這裡有什麼
置中	MetaHuman 角色。
左側	四個設定按鈕（語音辨識、AI 聊天機器人、文字轉語音、動畫），詳細說明如下。
置中底部	一個開始錄音按鈕。點擊即可開始語音對話：您的麥克風會捕捉聲音、轉錄為文字、傳送給 LLM，回應會透過 TTS 合成，並搭配嘴型同步播放，全程無需動手操作。
右中	一個對話歷史記錄小工具，顯示您與 AI 之間完整的來回對話（包含使用者與助理的訊息）。它還包含一個文字輸入欄位，讓您可以直接輸入訊息，無需使用語音辨識，這在測試、無障礙使用或沒有麥克風時非常實用。

提示

您可以在同一個工作階段中自由混合使用兩種輸入模式——有些訊息用說的，有些則用打的。

設定按鈕

左側的四個設定按鈕會開啟管線中各個部分的專屬面板：

1. 設定語音辨識

設定使用者語音擷取與轉錄的方式：

• 選擇 語言
• 調整語音辨識參數（Whisper 模型設定）
• 設定 AEC（聲學迴聲消除）
• 設定 VAD（語音活動偵測）

2. 配置 AI 聊天機器人

選擇您的 LLM 提供者並進行設定：

• 選擇 提供者（Runtime AI Chatbot Integrator 或 Runtime Local LLM）
• 對於外部提供者：驗證令牌、模型名稱等
• 對於本地 LLM：選擇一個 GGUF 模型，設定 上下文大小 及其他推論參數。您也可以直接在示範中 於執行階段下載自己的 GGUF 模型（例如透過 URL），並立即使用，無需重新建置專案。

提示

提供者下拉選單僅顯示其外掛模組資料夾存在於 Content/Modules/ 中的提供者。

3. 設定文字轉語音

選擇您的 TTS 提供者並設定語音/模型：

• 選擇 提供者（適用於 OpenAI/ElevenLabs 的 Runtime AI 聊天機器人整合器，或適用於本地 Piper/Kokoro 的 Runtime 文字轉語音）
• 選擇 語音/模型
• 調整提供者特定的參數

4. 設定動畫

控制你的AI虛擬角色的視覺效果：

• 在 3 個預先下載的 MetaHuman 角色（Aera、Ada、Orlando）之間選擇
• 選擇嘴型同步模型（標準或擬真）
• 選擇嘴型同步模型類型 - 高度最佳化、半最佳化或原始（請參閱模型類型）
• 調整處理區塊大小 - 控制嘴型同步推論的執行頻率（請參閱處理區塊大小）
• 選擇一個閒置動畫，讓 MetaHuman 在對話期間播放

在編輯器中預先配置示範

使用原始碼版本時，您可以直接在編輯器中預先填入預設值，這樣每次執行時就不需要重新輸入數值：

What	哪裡
一般設定（嘴型同步模型、待機動畫、角色類別、語音辨識等）	Content/LipSyncSTSGameInstance
外部 LLM / 外部 TTS 設定（Runtime AI Chatbot Integrator）	Content/Modules/RuntimeAIChatbotIntegrator/RuntimeAIChatbotIntegrator_Provider
Local LLM 設定（Runtime Local LLM）	Content/Modules/RuntimeLocalLLM/RuntimeLocalLLM_Provider
本地 TTS 設定（執行時文字轉語音）	Content/Modules/RuntimeTextToSpeech/RuntimeTextToSpeech_Provider

跨平台備註

示範專案所使用的所有插件皆支援 Windows、Mac、Linux、iOS、Android 以及基於 Android 的平台（包含 Meta Quest），因此示範專案同樣可在所有這些平台上運作。這使其適合部署於各種不同的環境——從遊戲、桌面資訊站，到行動應用程式、獨立 VR 頭戴裝置，以及片場虛擬製作設定。

針對較弱的裝置（手機、獨立式VR），您可能想要：

• 使用標準嘴型同步模型而非擬真模型——請參閱模型比較
• 切換至高度優化模型類型
• 增加處理區塊大小以降低CPU負載
• 選用較小的LLM/TTS模型

請參閱平台特定配置，了解在 Android、iOS、Mac 和 Linux 上的額外設定步驟。

像素串流支援

在 Pixel Streaming 上部署示範（點擊展開）

AI 對話示範專案也適用於 Pixel Streaming 環境，讓您可以將 MetaHuman 虛擬角色串流至遠端客戶端（例如網頁瀏覽器），同時從客戶端擷取使用者的麥克風音訊。只需對示範進行一項變更即可。

1. 安裝 Runtime Audio Importer 的 Pixel Streaming 擴充功能

Runtime Audio Importer 外掛提供了一個免費的擴充外掛，可讓您從 Pixel Streaming 客戶端擷取音訊。根據您使用的 Pixel Streaming 基礎架構版本，請安裝以下其中一個：

• Pixel Streaming 擴充功能（適用於原始 Pixel Streaming 外掛程式），或
• Pixel Streaming 2 擴充功能（適用於較新的 Pixel Streaming 2 外掛程式）

下載連結與安裝步驟請見此處：像素串流音訊擷取 - 擴充外掛安裝。

2. 在 LipSyncSTSGameInstance 中替換可捕捉音波節點

擴充插件安裝完成後：

1. 在內容瀏覽器中，導航至 /All/Game，然後開啟 LipSyncSTSGameInstance 資源。
2. 切換至事件圖表。
3. 找到事件初始化，並沿著執行流程，直到找到這組節點：建立可捕捉音波 → 設定可捕捉音波。
4. 將 建立可捕捉音波 呼叫替換為 建立像素串流可捕捉音波 或 建立像素串流 2 可捕捉音波，取決於您目標使用的像素串流基礎架構版本。
5. 將其輸出連接到同一個 設定可捕捉音波 節點。

完成此步驟後，專案即可部署至 Pixel Streaming——語音辨識、LLM、TTS 及嘴型同步功能將如常運作，但音訊將改為從遠端客戶端擷取，而非本機麥克風。

使用您自己的角色

示範專案內建三個 MetaHuman 角色樣本（Aera、Ada、Orlando），但您也可以匯入自己的 MetaHuman 並在示範中使用。

📺 影片教學： 將自訂 MetaHuman 角色加入示範專案

備註

Runtime MetaHuman Lip Sync 外掛本身支援 MetaHuman 以外的許多其他角色系統（基於 ARKit 的角色、Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe 等——請參閱自訂角色設定指南）。無論您正在打造遊戲 NPC、虛擬主持人、資訊站服務員，還是用於虛擬製作的數位人類，此外掛都能適應您的角色製作流程。

基本嘴型同步示範

一個更簡單的示範專案，專注於嘴型同步功能本身，不包含完整的 AI 對話流程。適合只想透過各種音訊來源實際觀看嘴型同步效果的場合。

精選影片

下載

• 下載封裝版示範 (Windows)
• 下載原始碼檔案 (UE 5.6+)

包含內容

此示範展示基本的嘴型同步工作流程：

• 麥克風輸入 - 從即時音訊進行即時唇形同步
• 音訊檔案播放 - 從匯入的音訊檔案進行唇形同步
• 文字轉語音 - 由合成語音驅動的唇形同步

必要與選用插件

外掛程式	目的	必要嗎？
Runtime MetaHuman Lip Sync	唇形同步動畫	✅ 必要
Runtime Audio Importer	音訊匯入與擷取	✅ 必要
Runtime Text To Speech	本地 TTS 用於 TTS 示範場景	🔶 可選
Runtime AI Chatbot Integrator	外部 TTS 提供者（OpenAI、ElevenLabs）	🔶 可選

標準嘴型同步模型注意事項

若您計畫在任一示範專案中使用標準模型（而非擬真模型），則需安裝標準嘴型同步擴充外掛。請參閱標準模型擴充功能的安裝說明。

需要協助嗎？

若您在設定或執行示範專案時遇到任何問題，歡迎隨時聯繫我們：

Join our Discord

online · support

如需客製化開發需求（例如：在示範專案中擴充自有邏輯、針對特定平台或角色流程進行調整），請聯絡 [email protected]。