跳到主要内容

概述

Runtime Speech Recognizer 文档

Runtime Speech Recognizer 是一个跨平台插件,支持实时、离线的语音识别。基于 Whisper OpenAI 技术,特别是 whisper.cpp 库,并支持在插件设置中预选的多种语言模型。

如何安装

首次运行时,安装语言模型(将自动弹出一个对话框提示您执行此操作)。

基本描述

该插件使用基于 whisper.cpp 库的高级算法提供实时语音识别,该库采用宽松的 MIT 许可证。它将传入的音频数据(作为流或非流输入,例如文件或音频数据缓冲区)与预训练的语言模型进行匹配。

插件根据平台使用不同的 GPU 加速方法:

  • Windows:使用 Vulkan 进行 GPU 加速,显著加快识别过程
  • Mac 和 iOS:使用 Metal 进行 GPU 加速,提供与 Windows Vulkan 加速相当甚至更快的性能
  • 其他平台:使用 CPU + 内部函数进行加速(可能较慢,例如在 Android 或 Meta Quest 上原生运行时)

其他资源