Passa al contenuto principale

Panoramica

Documentazione di Runtime Speech Recognizer

Runtime Speech Recognizer è un plugin cross-platform che abilita il Runtime Speech Recognizer e offline. Basato sulla tecnologia Whisper OpenAI, in particolare sulla libreria whisper.cpp, e supporta modelli linguistici multipli pre-selezionati nelle impostazioni del plugin.

Come installare​

Al primo avvio, installa i modelli linguistici (apparirà una finestra di dialogo che ti chiederà di farlo automaticamente).

Descrizione di base​

Questo plugin fornisce Runtime Speech Recognizer utilizzando algoritmi avanzati basati sulla libreria whisper.cpp, disponibile sotto la permissiva licenza MIT. Abbina i dati audio in arrivo, forniti come stream o input non in streaming (come un file o un buffer di dati audio), con modelli linguistici pre-addestrati.

Il plugin utilizza diversi metodi di accelerazione GPU a seconda della piattaforma:

  • Windows: Utilizza Vulkan per l'accelerazione GPU, che accelera significativamente il processo di riconoscimento
  • Mac e iOS: Utilizza Metal per l'accelerazione GPU, offrendo prestazioni comparabili, se non superiori, all'accelerazione Vulkan di Windows
  • Altre piattaforme: Utilizza CPU + intrinsics per l'accelerazione (può essere più lento, come su Android o Meta Quest, quando eseguito nativamente)

Risorse aggiuntive​