跳到主要内容

如何使用语音模型

选择、下载和打包模型

该插件支持多种语言、语音和音质。您可以通过编辑器中的插件设置,轻松下载和管理所需的语音模型。请按照以下步骤来选择、下载并暂存语音模型:

  1. 在编辑器中打开项目设置,然后导航到插件 -> Runtime Text To Speech
  2. 可供下载的语音模型列表中,点击你想要下载的语音模型旁边的下载按钮。你可以同时下载多个语音模型。
  3. 下载完成后,模型将出现在列表顶部的已下载的语音模型部分,并且可以在你的项目中使用。
  4. 你也可以在文本字段中输入文本并点击播放按钮来预览已下载的语音模型。这将使用选定的语音模型合成并播放文本。此功能对于在编辑器内进行测试以确保语音模型听起来符合预期非常有用。

要删除任何已下载的语音模型,请点击您要移除的模型旁边的 Delete 按钮。

所有下载的语音模型都会与您的项目一起打包,因此为了减小项目大小,请删除您不再需要的任何语音模型。

有关随附预装模型的完整语言列表,请参阅支持的语言

导入自定义语音模型

除了预配置的语音模型外,您还可以导入自己的自定义语音模型。当您想使用预配置列表中不存在的语音,或者想添加对未内置的语言的支持时,这会很有用(请参阅额外支持的语言列表,查看底层音素化器支持的其他语言)。

该插件同时支持 Piper 和 Kokoro 语音模型格式:

  1. 在插件设置中,点击屏幕顶部的导入自定义语音模型按钮。
  2. 在弹出的对话框中,选择模型类型(Piper 或 Kokoro)。
  3. 浏览并选择您的模型文件:
    • 对于 Piper:选择一个 ONNX 格式的模型文件 (*.onnx)
    • 对于 Kokoro:选择一个 BIN 格式的样式文件 (*.bin)
  4. 浏览并选择对应的配置文件(*.json):
    • 关于 Piper:包含设置,如采样率、音素映射和推理参数
    • 关于 Kokoro:包含分词器配置
  5. 对于 Kokoro 模型,指定语言代码(例如 en-us、en-gb-x-rp、fr、es 等)
  6. 点击导入将自定义语音模型添加到您的项目中。

自定义语音模型注意事项

  • Piper 模型:您可以使用任何兼容 Piper 的 ONNX 模型及其匹配的 JSON 配置文件。这对于在预配置列表中不可用的语音,或自定义训练的语音非常有用。您可以在 Hugging Face 上找到社区训练的 Piper 模型,或使用此指南训练自己的模型。

  • Kokoro模型:这些模型使用一个由两部分组成的系统:风格文件(BIN格式)和一个共享的ONNX模型。当您首次导入Kokoro风格文件时,插件将自动提示下载所需的ONNX模型。

  • 语言代码:对于 Kokoro 模型,语言代码对于正确的音素转换非常重要。常见代码包括:

    • 英语(美国):en-us
    • 英语(英国):en-gb-x-rp
    • 西班牙语:es
    • 法语:fr
    • 意大利语:it
    • 葡萄牙语(巴西):pt-br
    • 中文(普通话):cmn
    • 印地语:hi
    • 德语:de

自定义语音模型与下载的模型处理方式相同,并将与您的项目一起打包。