Runtime Speech Recognizer

Documentation du plugin Runtime Speech Recognizer.

Obtenez-le sur Fab
Site web du produit
Télécharger la démo (Windows)
Tutoriel vidéo
Support du plugin & Développement sur mesure : [email protected] (solutions adaptées pour les équipes et organisations)

Le plugin Runtime Speech Recognizer est conçu pour reconnaître des mots à partir des données audio entrantes. Il utilise une version légèrement modifiée de whisper.cpp pour fonctionner avec le moteur. Pour utiliser le plugin, suivez ces étapes :

📄️Sélection et téléchargement de modèles de langage

Actuellement, le plugin est conçu pour prendre en charge un seul modèle de langage, sélectionné au préalable dans l'éditeur, pour être empaqueté et utilisé avec le projet. Suivez ces étapes pour sélectionner, télécharger et préparer un modèle de langage spécifique :

📄️Liste des paramètres de reconnaissance

Ces paramètres ne peuvent être définis que lorsque le reconnaisseur n'est pas en cours d'exécution.

📄️Langues prises en charge

Voici la liste complète des langues prises en charge par les modèles de langage disponibles.

📄️Reconnaissance des commandes

Calculer la similarité de Levenshtein

📄️Dépannage

Problèmes de préproduction du modèle de langage

📄️Projet de démonstration

Projet de démonstration empaqueté pour Windows.

📄️Comment améliorer les performances

Le plugin utilise différentes méthodes d'accélération GPU selon la plateforme

📄️Extension Vosk

Par défaut, le plugin Runtime Speech Recognizer utilise whisper.cpp pour la reconnaissance. Sur les plateformes sans prise en charge de l'accélération GPU dans whisper.cpp, notamment Android et les plateformes basées sur Android telles que Meta Quest, la reconnaissance retombe sur le CPU + instructions intrinsèques, ce qui est plus lent et plus gourmand en batterie. Le Vosk extension plugin ajoute un fournisseur alternatif basé sur Vosk, une boîte à outils légère de reconnaissance vocale qui fonctionne bien sur le matériel contraint et particulièrement bien sur Meta Quest.