Aller au contenu principal

Aperçu

Documentation du Runtime Speech Recognizer

Runtime Speech Recognizer est un plugin multiplateforme qui permet la reconnaissance vocale en temps réel et hors ligne. Basé sur la technologie Whisper OpenAI, en particulier la bibliothèque whisper.cpp, et prend en charge plusieurs modèles linguistiques présélectionnés dans les paramètres du plugin avec des capacités de détection automatique de la langue.

Comment installer​

Lors de la première exécution, installez les modèles linguistiques (une boîte de dialogue apparaîtra vous demandant de le faire automatiquement).

Description de base​

Ce plugin fournit une reconnaissance vocale en temps réel utilisant des algorithmes avancés basés sur la bibliothèque whisper.cpp, qui est disponible sous la licence permissive MIT. Il compare les données audio entrantes, fournies sous forme de flux ou d'entrée non-stream (telles qu'un fichier ou un tampon de données audio), avec des modèles linguistiques pré-entraînés. Lors de l'utilisation de modèles multilingues, le plugin peut détecter automatiquement la langue parlée et fournir cette information aux côtés du texte reconnu.

Le plugin utilise différentes méthodes d'accélération GPU selon la plateforme :

  • Windows : Utilise Vulkan pour l'accélération GPU, ce qui accélère considérablement le processus de reconnaissance
  • Mac et iOS : Utilise Metal pour l'accélération GPU, offrant des performances comparables, voire supérieures, à l'accélération Vulkan sous Windows
  • Autres plateformes : Utilise le CPU + les intrinsèques pour l'accélération (peut être plus lent, comme sur Android ou Meta Quest, lors de l'exécution native)

Ressources supplémentaires​