音频处理指南

本指南介绍如何设置不同的音频输入方法，将音频数据馈送到您的口型同步生成器。请确保在继续之前已完成设置指南。

音频输入处理

您需要设置一种处理音频输入的方法。根据您的音频源，有几种方法可以实现这一点。

麦克风（实时）

此方法在对着麦克风说话时实时执行口型同步：

标准模型

1. 使用 Runtime Audio Importer 创建一个 Capturable Sound Wave
   • 对于使用 Pixel Streaming 的 Linux，请改用 Pixel Streaming Capturable Sound Wave
2. 在开始捕获音频之前，绑定到 OnPopulateAudioData 委托
3. 在绑定的函数中，从您的 Runtime Viseme Generator 调用 ProcessAudioData
4. 开始从麦克风捕获音频

可复制的节点。

逼真模型

逼真模型使用与标准模型相同的音频处理工作流程，但使用 RealisticLipSyncGenerator 变量代替 VisemeGenerator。

可复制的节点。

支持情绪的逼真模型

支持情绪的模型使用相同的音频处理工作流程，但使用 MoodMetaHumanLipSyncGenerator 变量和额外的情绪配置功能。

可复制的节点。

麦克风（播放）

此方法从麦克风捕获音频，然后通过口型同步进行播放：

标准模型

1. 使用 Runtime Audio Importer 创建一个 Capturable Sound Wave
   • 对于使用 Pixel Streaming 的 Linux，请改用 Pixel Streaming Capturable Sound Wave
2. 开始从麦克风捕获音频
3. 在播放可捕获声波之前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，从您的 Runtime Viseme Generator 调用 ProcessAudioData

可复制的节点。

逼真模型

逼真模型使用与标准模型相同的音频处理工作流程，但使用 RealisticLipSyncGenerator 变量代替 VisemeGenerator。

可复制的节点。

支持情绪的逼真模型

支持情绪的模型使用相同的音频处理工作流程，但使用 MoodMetaHumanLipSyncGenerator 变量和额外的情绪配置功能。

可复制的节点。

文本转语音（本地）

常规

此方法使用本地 TTS 从文本合成语音并执行口型同步：

标准模型

1. 使用 Runtime Text To Speech 从文本生成语音
2. 使用 Runtime Audio Importer 导入合成的音频
3. 在播放导入的声波之前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，从您的 Runtime Viseme Generator 调用 ProcessAudioData

可复制的节点。

逼真模型

逼真模型使用与标准模型相同的音频处理工作流程，但使用 RealisticLipSyncGenerator 变量代替 VisemeGenerator。

可复制的节点。

支持情绪的逼真模型

支持情绪的模型使用相同的音频处理工作流程，但使用 MoodMetaHumanLipSyncGenerator 变量和额外的情绪配置功能。

可复制的节点。

流式

此方法使用流式文本转语音合成和实时口型同步：

标准模型

1. 使用 Runtime Text To Speech 从文本生成流式语音
2. 使用 Runtime Audio Importer 导入合成的音频
3. 在播放流式声波之前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，从您的 Runtime Viseme Generator 调用 ProcessAudioData

可复制的节点。

逼真模型

逼真模型使用与标准模型相同的音频处理工作流程，但使用 RealisticLipSyncGenerator 变量代替 VisemeGenerator。

可复制的节点。

支持情绪的逼真模型

支持情绪的模型使用相同的音频处理工作流程，但使用 MoodMetaHumanLipSyncGenerator 变量和额外的情绪配置功能。

可复制的节点。

文本转语音（外部 API）

常规

此方法使用 Runtime AI Chatbot Integrator 插件从 AI 服务（OpenAI 或 ElevenLabs）生成合成语音并执行口型同步：

标准模型

1. 使用 Runtime AI Chatbot Integrator 使用外部 API（OpenAI、ElevenLabs 等）从文本生成语音
2. 使用 Runtime Audio Importer 导入合成的音频数据
3. 在播放导入的声波之前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，从您的 Runtime Viseme Generator 调用 ProcessAudioData

可复制的节点。

逼真模型

逼真模型使用与标准模型相同的音频处理工作流程，但使用 RealisticLipSyncGenerator 变量代替 VisemeGenerator。

可复制的节点。

支持情绪的逼真模型

支持情绪的模型使用相同的音频处理工作流程，但使用 MoodMetaHumanLipSyncGenerator 变量和额外的情绪配置功能。

可复制的节点。

流式

此方法使用 Runtime AI Chatbot Integrator 插件从 AI 服务（OpenAI 或 ElevenLabs）生成合成流式语音并执行口型同步：

标准模型

1. 使用 Runtime AI Chatbot Integrator 连接到流式 TTS API（如 ElevenLabs Streaming API）
2. 使用 Runtime Audio Importer 导入合成的音频数据
3. 在播放流式声波之前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，从您的 Runtime Viseme Generator 调用 ProcessAudioData

可复制的节点。

逼真模型

逼真模型使用与标准模型相同的音频处理工作流程，但使用 RealisticLipSyncGenerator 变量代替 VisemeGenerator。

可复制的节点。

支持情绪的逼真模型

支持情绪的模型使用相同的音频处理工作流程，但使用 MoodMetaHumanLipSyncGenerator 变量和额外的情绪配置功能。

可复制的节点。

来自音频文件/缓冲区

此方法使用预先录制的音频文件或音频缓冲区进行口型同步：

标准模型

1. 使用 Runtime Audio Importer 从磁盘或内存导入一个音频文件
2. 在播放导入的声波之前，绑定到其 OnGeneratePCMData 委托
3. 在绑定的函数中，从您的 Runtime Viseme Generator 调用 ProcessAudioData
4. 播放导入的声波并观察口型同步动画

可复制的节点。

逼真模型

逼真模型使用与标准模型相同的音频处理工作流程，但使用 RealisticLipSyncGenerator 变量代替 VisemeGenerator。

可复制的节点。

支持情绪的逼真模型

支持情绪的模型使用相同的音频处理工作流程，但使用 MoodMetaHumanLipSyncGenerator 变量和额外的情绪配置功能。

可复制的节点。

流式音频缓冲区

对于来自缓冲区的流式音频数据，您需要：

标准模型

1. 来自流式源的浮点 PCM 格式的音频数据（浮点样本数组）（或使用 Runtime Audio Importer 以支持更多格式）
2. 采样率和通道数
3. 当音频块可用时，使用这些参数从您的 Runtime Viseme Generator 调用 ProcessAudioData

可复制的节点。

逼真模型

逼真模型使用与标准模型相同的音频处理工作流程，但使用 RealisticLipSyncGenerator 变量代替 VisemeGenerator。

可复制的节点。

支持情绪的逼真模型

支持情绪的模型使用相同的音频处理工作流程，但使用 MoodMetaHumanLipSyncGenerator 变量和额外的情绪配置功能。

可复制的节点。

注意： 使用流式音频源时，请确保适当管理音频播放时序，以避免播放失真。有关更多信息，请参阅流式声波文档。

处理性能提示

• 块大小：增加 ProcessingChunkSize 配置选项（例如，增加到 320、480 或 640 个样本）可以显著改善延迟，同时对质量或响应性的影响最小。

• 模型类型：使用逼真模型时，切换到高度优化模型类型（默认选中）可以提高性能。请注意，原始模型可能产生稍好的质量，特别是在有噪声的音频中。

• 缓冲区管理：支持情绪的模型以 320 样本帧（16kHz 下 20ms）处理音频。确保您的音频输入时序与此对齐以获得最佳性能。

• 生成器重建：为了逼真模型的可靠运行，每次在非活动期后想要馈送新的音频数据时，请重新创建生成器。有关解释，请参阅故障排除中的生成器重建。

后续步骤

一旦您设置了音频处理，您可能想要：

• 了解配置选项以微调您的口型同步行为
• 添加笑声动画以增强表现力
• 使用配置指南中描述的分层技术，将口型同步与现有面部动画结合