音訊處理指南

本指南涵蓋如何設定不同的音訊輸入方法，以將音訊資料饋送至您的嘴型同步生成器。請確保您已先完成設定指南再繼續。

音訊輸入處理

您需要設定一個處理音訊輸入的方法。根據您的音訊來源，有幾種不同的方式可以實現。

麥克風（即時）

此方法可在對著麥克風說話時即時執行嘴型同步。

標準模型

1. 使用 Runtime Audio Importer 建立一個 可捕捉音波
   • 對於使用 Pixel Streaming 的 Linux，請改用 Pixel Streaming Capturable Sound Wave。
2. 在開始擷取音訊之前，先繫結至 OnPopulateAudioData 委派
3. 在繫結的函式中，從您的 Runtime Viseme Generator 呼叫 ProcessAudioData
4. 開始從麥克風擷取音訊

可複製的節點。

真實模型

真實模型使用與標準模型相同的音訊處理流程，但以 RealisticLipSyncGenerator 變數取代 VisemeGenerator。

可複製節點。

情緒驅動的逼真模型

情緒啟用模型使用相同的音訊處理工作流程，但具備 MoodMetaHumanLipSyncGenerator 變數及額外的情緒設定功能。

可複製節點。

麥克風（播放）

此方法會從麥克風擷取音訊，然後以嘴型同步的方式播放出來：

標準模型

1. 使用 Runtime Audio Importer 建立一個 可捕捉音波
   • 對於使用 Pixel Streaming 的 Linux，請改用 Pixel Streaming Capturable Sound Wave。
2. 從麥克風開始音訊擷取
3. 在播放可擷取音波之前，先綁定其 OnGeneratePCMData 委派
4. 在綁定的函式中，從您的 Runtime Viseme Generator 呼叫 ProcessAudioData

可複製節點。

真實模型

真實模型使用與標準模型相同的音訊處理流程，但以 RealisticLipSyncGenerator 變數取代 VisemeGenerator。

可複製節點。

情緒驅動的逼真模型

情緒啟用模型使用相同的音訊處理工作流程，但具備 MoodMetaHumanLipSyncGenerator 變數及額外的情緒設定功能。

可複製節點。

文字轉語音（本機）

常規

此方法使用本地 TTS 從文字合成語音，並執行嘴型同步。

標準模型

1. 使用 Runtime Text To Speech 從文字生成語音
2. 使用 Runtime Audio Importer 匯入合成的音訊
3. 在播放匯入的音波前，先綁定其 OnGeneratePCMData 委派
4. 在綁定的函式中，從您的 Runtime Viseme Generator 呼叫 ProcessAudioData

可複製節點。

真實模型

真實模型使用與標準模型相同的音訊處理流程，但以 RealisticLipSyncGenerator 變數取代 VisemeGenerator。

可複製的節點。

情緒驅動的逼真模型

啟用情緒的模型使用相同的音訊處理流程，但具備 MoodMetaHumanLipSyncGenerator 變數與額外的情緒設定功能。

可複製節點。

串流

此方法採用串流文字轉語音合成技術，並結合即時嘴型同步。

標準模型

1. 使用 Runtime Text To Speech 從文字生成串流語音
2. 使用 Runtime Audio Importer 匯入合成的音訊
3. 在播放串流音波前，先綁定其 OnGeneratePCMData 委派
4. 在綁定的函式中，呼叫 Runtime Viseme Generator 的 ProcessAudioData

可複製節點。

真實模型

真實模型使用與標準模型相同的音訊處理流程，但以 RealisticLipSyncGenerator 變數取代 VisemeGenerator。

可複製節點。

情緒驅動的逼真模型

情緒啟用模型使用相同的音訊處理工作流程，但具備 MoodMetaHumanLipSyncGenerator 變數及額外的情緒配置功能。

可複製節點。

文字轉語音（外部 API）

常規

此方法使用「Runtime AI Chatbot Integrator」插件，從 AI 服務（OpenAI 或 ElevenLabs）生成合成語音，並執行嘴型同步。

標準模型

1. 使用 Runtime AI Chatbot Integrator 透過外部 API（OpenAI、ElevenLabs 等）從文字生成語音
2. 使用 Runtime Audio Importer 匯入合成的音訊資料
3. 在播放匯入的音波前，綁定其 OnGeneratePCMData 委派
4. 在綁定的函式中，從你的 Runtime Viseme Generator 呼叫 ProcessAudioData

可複製節點。

真實模型

真實模型使用與標準模型相同的音訊處理流程，但以 RealisticLipSyncGenerator 變數取代 VisemeGenerator。

可複製節點。

情緒驅動的逼真模型

情緒啟用模型使用相同的音訊處理工作流程，但具備 MoodMetaHumanLipSyncGenerator 變數及額外的情緒設定功能。

可複製的節點。

串流

此方法使用「Runtime AI Chatbot Integrator」插件，從 AI 服務（OpenAI 或 ElevenLabs）生成合成的串流語音，並執行嘴型同步：

標準模型

1. 使用 Runtime AI Chatbot Integrator 連接串流 TTS API（如 ElevenLabs Streaming API）
2. 使用 Runtime Audio Importer 匯入合成的音訊資料
3. 在播放串流音波前，先綁定其 OnGeneratePCMData 委派
4. 在綁定的函式中，呼叫 Runtime Viseme Generator 的 ProcessAudioData

可複製節點。

真實模型

真實模型使用與標準模型相同的音訊處理流程，但以 RealisticLipSyncGenerator 變數取代 VisemeGenerator。

可複製節點。

情緒驅動的逼真模型

啟用情緒的模型使用相同的音訊處理流程，但具備 MoodMetaHumanLipSyncGenerator 變數及額外的情緒設定功能。

可複製節點。

從音訊檔案/緩衝區

此方法使用預先錄製的音訊檔案或音訊緩衝區來進行嘴型同步：

標準模型

1. 使用 Runtime Audio Importer 從磁碟或記憶體匯入音訊檔案
2. 在播放匯入的音波前，先繫結至其 OnGeneratePCMData 委派
3. 在繫結的函式中，從您的 Runtime Viseme Generator 呼叫 ProcessAudioData
4. 播放匯入的音波，並觀察嘴型同步動畫

可複製節點。

真實模型

真實模型使用與標準模型相同的音訊處理流程，但以 RealisticLipSyncGenerator 變數取代 VisemeGenerator。

可複製的節點。

情緒驅動的逼真模型

情緒啟用模型使用相同的音訊處理工作流程，但具備 MoodMetaHumanLipSyncGenerator 變數及額外的情緒設定功能。

可複製節點。

串流音訊緩衝區

對於從緩衝區串流音訊資料，您需要：

標準模型

1. 來自串流來源的浮點 PCM 格式音訊資料（浮點取樣陣列）（或使用 Runtime Audio Importer 支援更多格式）
2. 取樣率與聲道數
3. 當音訊區塊可用時，使用這些參數從您的 Runtime Viseme Generator 呼叫 ProcessAudioData

可複製節點。

真實模型

真實模型使用與標準模型相同的音訊處理流程，但以 RealisticLipSyncGenerator 變數取代 VisemeGenerator。

可複製節點。

情緒驅動的逼真模型

啟用情緒的模型使用相同的音訊處理流程，但具備 MoodMetaHumanLipSyncGenerator 變數與額外的情緒設定功能。

可複製節點。

注意： 使用串流音訊來源時，請務必妥善管理音訊播放時序，以避免播放失真。更多資訊請參閱串流音波文件。

處理效能提示

• 區塊大小：增加 ProcessingChunkSize 設定選項（例如設為 320、480 或 640 個樣本）可顯著改善延遲，同時對品質或反應速度影響極小。

• 模型類型：使用擬真模型時，切換至高度優化模型類型（預設選取）可提升效能。請注意，原始模型可能產生略佳品質，尤其在處理含噪音音訊時。

• 緩衝區管理：支援情緒的模型會以 320 個樣本為一幀（16kHz 下為 20 毫秒）來處理音訊。請確保您的音訊輸入時序與此對齊，以獲得最佳效能。

• 生成器重建：為確保與真實模型（Realistic models）的可靠運作，請在長時間未使用後，每次要輸入新音訊資料時重建生成器。相關說明請參閱疑難排解中的生成器重建。

下一步

一旦完成音訊處理的設定，您可能會想要：

• 了解配置選項以微調您的嘴型同步行為
• 加入笑聲動畫以增強表現力
• 使用配置指南中描述的分層技術，將嘴型同步與現有的臉部動畫結合