Przejdź do głównej zawartości

Przegląd

Dokumentacja Runtime Speech Recognizer

Runtime Speech Recognizer to wieloplatformowy plugin umożliwiający rozpoznawanie mowy w czasie rzeczywistym, działający offline. Opiera się na technologii Whisper OpenAI, w szczególności na bibliotece whisper.cpp i obsługuje wielojęzyczne modele wstępnie wybrane w ustawieniach pluginu z możliwością automatycznego wykrywania języka.

Jak zainstalować​

Przy pierwszym uruchomieniu zainstaluj modele językowe (pojawi się okno dialogowe z prośbą o automatyczne wykonanie tej czynności).

Podstawowy opis​

Ten plugin zapewnia rozpoznawanie mowy w czasie rzeczywistym przy użyciu zaawansowanych algorytmów opartych na bibliotece whisper.cpp, która jest dostępna na liberalnej licencji MIT. Dopasowuje przychodzące dane audio, dostarczone jako strumień lub dane wejściowe niestrumieniowe (takie jak plik lub bufor danych audio), do wstępnie wytrenowanych modeli językowych. Podczas używania modeli wielojęzycznych plugin może automatycznie wykryć mówiony język i dostarczyć tę informację wraz z rozpoznanym tekstem.

Plugin używa różnych metod akceleracji GPU w zależności od platformy:

  • Windows: Używa Vulkan do akceleracji GPU, co znacząco przyspiesza proces rozpoznawania
  • Mac i iOS: Używa Metal do akceleracji GPU, zapewniając wydajność porównywalną z akceleracją Vulkan na Windows, jeśli nie szybszą
  • Inne platformy: Używa CPU + intrinsics do akceleracji (może być wolniej, np. na Androidzie lub Meta Quest, podczas działania natywnie)

Dodatkowe zasoby​