音频处理指南

本指南介绍如何设置不同的音频输入方法，以便将音频数据提供给唇形同步生成器。请确保在继续之前已完成设置指南。

音频输入处理

你需要设置一种处理音频输入的方法。根据你的音频来源，有几种方式可以实现。

麦克风（实时）

该方法可在对着麦克风说话时实时执行口型同步：

标准模型

1. 使用 Runtime Audio Importer 创建一个可捕获声波
   • 对于使用像素串流的 Linux 系统，请改用 像素串流可捕获声波。
2. 在开始捕获音频之前，绑定到 OnPopulateAudioData 委托
3. 在绑定的函数中，从你的运行时口型生成器调用 ProcessAudioData
4. 开始从麦克风捕获音频

可复制节点。

写实模型

写实模型使用与标准模型相同的音频处理工作流程，但将 VisemeGenerator 变量替换为 RealisticLipSyncGenerator。

可复制的节点。

情绪驱动的逼真模型

情绪驱动模型使用相同的音频处理工作流程，但增加了MoodMetaHumanLipSyncGenerator变量和额外的情绪配置功能。

可复制的节点。

麦克风（播放）

这种方法通过麦克风捕捉音频，然后配合口型同步进行播放。

标准模型

1. 使用 Runtime Audio Importer 创建一个可捕获声波
   • 对于使用像素串流的 Linux 系统，请改用 像素串流可捕获声波。
2. 从麦克风开始音频捕获
3. 在播放可捕获的声波之前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，调用运行时口型生成器的 ProcessAudioData 方法

可复制的节点。

写实模型

写实模型使用与标准模型相同的音频处理工作流程，但将 VisemeGenerator 变量替换为 RealisticLipSyncGenerator。

可复制的节点。

情绪驱动的逼真模型

情绪驱动模型使用相同的音频处理工作流程，但增加了MoodMetaHumanLipSyncGenerator变量和额外的情绪配置功能。

可复制的节点。

文本转语音（本地）

常规

该方法利用本地TTS从文本合成语音，并执行口型同步：

标准模型

1. 使用 Runtime Text To Speech 从文本生成语音
2. 使用 Runtime Audio Importer 导入合成的音频
3. 在播放导入的声波之前，绑定到其 OnGeneratePCMData 委托
4. 在绑定的函数中，调用运行时口型生成器的 ProcessAudioData 方法

可复制的节点。

写实模型

写实模型使用与标准模型相同的音频处理工作流程，但将 VisemeGenerator 变量替换为 RealisticLipSyncGenerator。

可复制的节点。

情绪驱动的逼真模型

情绪驱动模型使用相同的音频处理工作流程，但增加了MoodMetaHumanLipSyncGenerator变量和额外的情绪配置功能。

可复制的节点。

流式传输

该方法采用流式文本转语音合成技术，并实时同步口型。

标准模型

1. 使用 Runtime Text To Speech 从文本生成流式语音
2. 使用 Runtime Audio Importer 导入合成的音频
3. 在播放流式音频波形前，绑定其 OnGeneratePCMData 委托
4. 在绑定的函数中，调用运行时口型生成器的 ProcessAudioData 方法

可复制的节点。

写实模型

写实模型使用与标准模型相同的音频处理工作流程，但将 VisemeGenerator 变量替换为 RealisticLipSyncGenerator。

可复制的节点。

情绪驱动的逼真模型

情绪驱动模型使用相同的音频处理工作流程，但增加了MoodMetaHumanLipSyncGenerator变量和额外的情绪配置功能。

可复制节点。

文本转语音（外部API）

常规

该方法利用运行时AI聊天机器人集成插件，从AI服务（OpenAI或ElevenLabs）生成合成语音并执行口型同步：

标准模型

1. 使用 Runtime AI Chatbot Integrator 通过外部API（OpenAI、ElevenLabs等）从文本生成语音
2. 使用 Runtime Audio Importer 导入合成的音频数据
3. 在播放导入的声波之前，绑定其 OnGeneratePCMData 委托
4. 在绑定的函数中，调用运行时口型同步生成器的 ProcessAudioData 方法

可复制节点。

写实模型

写实模型使用与标准模型相同的音频处理工作流程，但将 VisemeGenerator 变量替换为 RealisticLipSyncGenerator。

可复制的节点。

情绪驱动的逼真模型

情绪驱动模型使用相同的音频处理工作流程，但增加了MoodMetaHumanLipSyncGenerator变量和额外的情绪配置功能。

可复制的节点。

流式传输

该方法利用运行时AI聊天机器人集成插件，从AI服务（OpenAI或ElevenLabs）生成合成流式语音，并执行口型同步：

标准模型

1. 使用 Runtime AI Chatbot Integrator 连接流式TTS API（如ElevenLabs流式API）
2. 使用 Runtime Audio Importer 导入合成的音频数据
3. 在播放流式音频波形前，绑定其 OnGeneratePCMData 委托
4. 在绑定的函数中，调用运行时口型同步生成器的 ProcessAudioData 方法

可复制节点。

写实模型

写实模型使用与标准模型相同的音频处理工作流程，但将 VisemeGenerator 变量替换为 RealisticLipSyncGenerator。

可复制的节点。

情绪驱动的逼真模型

情绪驱动模型使用相同的音频处理工作流程，但增加了MoodMetaHumanLipSyncGenerator变量和额外的情绪配置功能。

可复制节点。

从音频文件/缓冲区

此方法使用预录制的音频文件或音频缓冲区来实现口型同步：

标准模型

1. 使用 Runtime Audio Importer 从磁盘或内存导入音频文件
2. 在播放导入的声波之前，绑定到其 OnGeneratePCMData 委托
3. 在绑定的函数中，调用运行时口型生成器的 ProcessAudioData 方法
4. 播放导入的声波并观察口型同步动画

可复制的节点。

写实模型

写实模型使用与标准模型相同的音频处理工作流程，但将 VisemeGenerator 变量替换为 RealisticLipSyncGenerator。

可复制的节点。

情绪驱动的逼真模型

情绪驱动模型使用相同的音频处理工作流程，但增加了MoodMetaHumanLipSyncGenerator变量和额外的情绪配置功能。

可复制节点。

流式音频缓冲区

对于从缓冲区流式传输音频数据，您需要：

标准模型

1. 来自流式源的浮点PCM格式音频数据（浮点样本数组）（或使用Runtime Audio Importer支持更多格式）
2. 采样率和声道数
3. 当音频块可用时，使用这些参数调用运行时口型同步生成器中的 ProcessAudioData

可复制的节点。

写实模型

写实模型使用与标准模型相同的音频处理流程，但将 VisemeGenerator 变量替换为 RealisticLipSyncGenerator。

可复制的节点。

情绪驱动的逼真模型

情绪驱动模型使用相同的音频处理工作流程，但增加了MoodMetaHumanLipSyncGenerator变量和额外的情绪配置功能。

可复制节点。

注意： 使用流式音频源时，请确保合理管理音频播放时序，以避免出现失真播放。更多信息请参阅流式声波文档。

处理性能优化建议

• 块大小：增大 ProcessingChunkSize 配置选项（例如设置为 320、480 或 640 个采样点）可显著改善延迟，同时对质量或响应速度影响极小。

• 模型类型：使用写实模型时，切换到高度优化模型类型（默认选中）可提升性能。请注意，原始模型在质量上可能略胜一筹，尤其是在处理嘈杂音频时。

• 缓冲区管理：支持情绪控制的模型以320采样点帧（16kHz采样率下对应20毫秒）为单位处理音频。请确保您的音频输入时序与此对齐，以获得最佳性能。

• 生成器重建：为确保与真实感模型配合使用时运行可靠，请在长时间未操作后每次输入新音频数据时重建生成器。详见故障排除中的生成器重建说明。

下一步行动

一旦音频处理设置完成，您可能希望：

• 了解配置选项，以微调您的口型同步行为
• 添加笑声动画以增强表现力
• 使用配置指南中描述的分层技术，将口型同步与现有面部动画相结合