Aller au contenu principal

Aperçu

Documentation du Runtime Speech Recognizer

Runtime Speech Recognizer est un plugin multiplateforme qui permet la reconnaissance vocale en temps réel et hors ligne. Basé sur la technologie Whisper OpenAI, en particulier la bibliothèque whisper.cpp, et prend en charge plusieurs modèles linguistiques présélectionnés dans les paramètres du plugin.

Comment installer​

Lors du premier lancement, installez les modèles linguistiques (une boîte de dialogue apparaîtra pour vous demander de le faire automatiquement).

Description de base​

Ce plugin fournit une reconnaissance vocale en temps réel en utilisant des algorithmes avancés basés sur la bibliothèque whisper.cpp, qui est disponible sous la licence permissive MIT. Il fait correspondre les données audio entrantes, fournies sous forme de flux ou d'entrée non stream (comme un fichier ou un tampon de données audio), avec des modèles linguistiques pré-entraînés.

Le plugin utilise différentes méthodes d'accélération GPU selon la plateforme :

  • Windows : Utilise Vulkan pour l'accélération GPU, ce qui accélère considérablement le processus de reconnaissance
  • Mac et iOS : Utilise Metal pour l'accélération GPU, offrant des performances comparables, voire supérieures, à l'accélération Vulkan sous Windows
  • Autres plateformes : Utilise le CPU + les intrinsèques pour l'accélération (peut être plus lent, comme sur Android ou Meta Quest, lors d'une exécution native)

Ressources supplémentaires​