Vue d’ensemble
Runtime Speech Recognizer est un plugin multiplateforme qui permet la reconnaissance vocale en temps réel et hors ligne. Basé sur la technologie Whisper d'OpenAI, en particulier la bibliothèque whisper.cpp, il est fourni avec un catalogue de modèles de langue pré-entraînés que vous pouvez télécharger depuis les paramètres du plugin, avec détection automatique de la langue lors de l'utilisation de modèles multilingues.
Installation des modèles de langage
Lors de la première exécution, l'éditeur vous invite à télécharger automatiquement un modèle de langage. Consultez Comment utiliser les modèles de langage pour plus de détails sur la sélection, le téléchargement et l'empaquetage des modèles.
Description de base
Ce plugin fournit une reconnaissance vocale en temps réel utilisant des algorithmes avancés basés sur la bibliothèque whisper.cpp, qui est disponible sous la licence MIT permissive. Il fait correspondre les données audio entrantes, fournies sous forme de flux ou d’entrée non-flux (comme un fichier ou un tampon de données audio), avec des modèles de langage pré-entraînés. Lors de l’utilisation de modèles multilingues, le plugin peut détecter automatiquement la langue parlée et fournir cette information en plus du texte reconnu.
Le plugin utilise différentes méthodes d'accélération GPU selon la plateforme :
- Windows et Linux : Utilise Vulkan pour l’accélération GPU, ce qui accélère considérablement le processus de reconnaissance.
- Mac et iOS : utilise Metal pour l’accélération GPU, offrant des performances comparables à l’accélération Vulkan de Windows ou Linux, voire plus rapides.
- Autres plateformes : utilise le CPU + des intrinsèques pour l'accélération (peut être plus lent, par exemple sur Android ou Meta Quest, en exécution native). Sur ces plateformes, envisagez l'extension Vosk comme un fournisseur alternatif plus léger.
Ressources supplémentaires
- Obtenez-le sur Fab
- Site web du produit
- Télécharger la démo (Windows)
- Tutoriel vidéo (vidéo plus ancienne)
- Support de plugin et développement personnalisé : [email protected] (solutions sur mesure pour équipes et organisations)