Zum Hauptinhalt springen

Übersicht

Runtime Speech Recognizer Documentation

Runtime Speech Recognizer ist ein plattformübergreifendes Plugin, das Echtzeit- und Offline-Spracherkennung ermöglicht. Es basiert auf der Whisper-OpenAI-Technologie, insbesondere der Bibliothek whisper.cpp, und wird mit einem Katalog vortrainierter Sprachmodelle geliefert, die Sie aus den Einstellungen des Plugins herunterladen können, mit automatischer Sprachenerkennung bei Verwendung mehrsprachiger Modelle.

Installation von Sprachmodellen​

Beim ersten Start fordert Sie der Editor auf, automatisch ein Sprachmodell herunterzuladen. Details zur Auswahl, zum Herunterladen und zum Verpacken von Modellen finden Sie unter So verwenden Sie Sprachmodelle.

Grundlegende Beschreibung​

Dieses Plugin bietet Echtzeit-Spracherkennung mit fortschrittlichen Algorithmen, die auf der Bibliothek whisper.cpp basieren, die unter der freizügigen MIT-Lizenz verfügbar ist. Es gleicht eingehende Audiodaten, die als Stream- oder Nicht-Stream-Eingabe (z. B. als Datei oder Puffer von Audiodaten) bereitgestellt werden, mit vortrainierten Sprachmodellen ab. Bei Verwendung mehrsprachiger Modelle kann das Plugin die gesprochene Sprache automatisch erkennen und diese Informationen zusammen mit dem erkannten Text bereitstellen.

Das Plugin verwendet je nach Plattform verschiedene GPU-Beschleunigungsmethoden:

  • Windows und Linux: Verwendet Vulkan für die GPU-Beschleunigung, was den Erkennungsprozess erheblich beschleunigt
  • Mac und iOS: Verwendet Metal für die GPU-Beschleunigung und liefert eine Leistung, die mit der Vulkan-Beschleunigung unter Windows oder Linux vergleichbar ist, wenn nicht sogar schneller
  • Andere Plattformen: Verwendet CPU + Intrinsics für die Beschleunigung (kann langsamer sein, z. B. bei nativer Ausführung auf Android oder Meta Quest). Ziehen Sie auf diesen Plattformen die Vosk-Erweiterung als leichteren alternativen Anbieter in Betracht.

Weitere Ressourcen​

Join our Discord
online · support