Aller au contenu principal

Vue d'ensemble

Documentation Runtime Speech Recognizer

Runtime Speech Recognizer est un plugin multiplateforme qui permet la reconnaissance vocale en temps réel et hors ligne. Basé sur la technologie Whisper d'OpenAI, en particulier la bibliothèque whisper.cpp, il prend en charge plusieurs modèles linguistiques présélectionnés dans les paramètres du plugin avec des capacités de détection automatique de la langue.

Comment installer​

Lors du premier lancement, installez les modèles linguistiques (une boîte de dialogue apparaîtra pour vous demander de le faire automatiquement).

Description de base​

Ce plugin fournit une reconnaissance vocale en temps réel en utilisant des algorithmes avancés basés sur la bibliothèque whisper.cpp, qui est disponible sous la licence permissive MIT. Il compare les données audio entrantes, fournies sous forme de flux ou d'entrée non-stream (comme un fichier ou un tampon de données audio), avec des modèles linguistiques pré-entraînés. Lors de l'utilisation de modèles multilingues, le plugin peut détecter automatiquement la langue parlée et fournir cette information aux côtés du texte reconnu.

Le plugin utilise différentes méthodes d'accélération GPU selon la plateforme :

  • Windows : Utilise Vulkan pour l'accélération GPU, ce qui accélère considérablement le processus de reconnaissance
  • Mac et iOS : Utilise Metal pour l'accélération GPU, offrant des performances comparables, voire supérieures, à l'accélération Vulkan sous Windows
  • Autres plateformes : Utilise le CPU + intrinsics pour l'accélération (peut être plus lent, comme sur Android ou Meta Quest, lors d'une exécution native)

Ressources supplémentaires​