So verwenden Sie Sprachmodelle

Auswählen, Herunterladen und Verpacken von Modellen

Das Plugin unterstützt mehrere Sprachen, Stimmen und Qualitäten. Sie können die benötigten Sprachmodelle einfach über die Plugin-Einstellungen im Editor herunterladen und verwalten. Befolgen Sie diese Schritte, um die Sprachmodelle auszuwählen, herunterzuladen und bereitzustellen:

1. Öffnen Sie die Projekteinstellungen im Editor und navigieren Sie zu Plugins -> Runtime Text To Speech.
2. Klicken Sie in der Liste Verfügbare Sprachmodelle zum Herunterladen auf die Schaltfläche Download neben dem Sprachmodell, das Sie herunterladen möchten. Sie können mehrere Sprachmodelle gleichzeitig herunterladen.
3. Nach Abschluss des Downloads werden die Modelle im Bereich Heruntergeladene Sprachmodelle oben in der Liste angezeigt und stehen zur Verwendung in Ihrem Projekt zur Verfügung.
4. Optional können Sie eine Vorschau der heruntergeladenen Sprachmodelle anzeigen, indem Sie Text in das Textfeld eingeben und auf die Schaltfläche Play klicken. Dadurch wird der Text mit dem ausgewählten Sprachmodell synthetisiert und abgespielt. Diese Funktion ist nützlich, um innerhalb des Editors zu testen, ob das Sprachmodell wie erwartet klingt.

Um heruntergeladene Sprachmodelle zu löschen, klicken Sie auf die Schaltfläche Löschen neben dem Modell, das Sie entfernen möchten.

Alle heruntergeladenen Sprachmodelle werden mit Ihrem Projekt verpackt. Um die Projektgröße zu reduzieren, löschen Sie alle Sprachmodelle, die Sie nicht mehr benötigen.

Für eine vollständige Liste der Sprachen, die mit vorinstallierten Modellen ausgeliefert werden, siehe Unterstützte Sprachen.

Eigene Sprachmodelle importieren

Zusätzlich zu den vorkonfigurierten Sprachmodellen können Sie Ihre eigenen benutzerdefinierten Sprachmodelle importieren. Dies ist nützlich, wenn Sie eine Stimme verwenden möchten, die nicht in der vorkonfigurierten Liste verfügbar ist, oder wenn Sie Unterstützung für eine Sprache hinzufügen möchten, die nicht standardmäßig enthalten ist (siehe die Liste der zusätzlich unterstützten Sprachen für die Liste der zusätzlichen Sprachen, die vom zugrunde liegenden Phonemisierer unterstützt werden).

Das Plugin unterstützt sowohl Piper- als auch Kokoro-Sprachmodellformate:

1. Klicken Sie in den Plugin-Einstellungen auf die Schaltfläche Benutzerdefiniertes Stimmmodell importieren oben auf dem Bildschirm.
2. Wählen Sie im angezeigten Dialog den Modelltyp (Piper oder Kokoro) aus.
3. Durchsuchen und wählen Sie Ihre Modelldatei aus:
   • Für Piper: Wählen Sie eine Modelldatei im ONNX-Format (*.onnx)
   • Für Kokoro: Wählen Sie eine Stildatei im BIN-Format (*.bin)
4. Durchsuchen Sie die entsprechende Konfigurationsdatei (*.json) und wählen Sie sie aus:
   • Für Piper: Diese enthält Einstellungen wie Abtastrate, Phonem-Zuordnungen und Inferenzparameter
   • Für Kokoro: Diese enthält die Tokenizer-Konfiguration
5. Geben Sie für Kokoro-Modelle den Sprachcode an (z. B. en-us, en-gb-x-rp, fr, es usw.).
6. Klicken Sie auf Import, um das benutzerdefinierte Sprachmodell zu Ihrem Projekt hinzuzufügen.

Hinweise zu benutzerdefinierten Stimm-Modellen

• Piper-Modelle: Sie können jedes Piper-kompatible ONNX-Modell mit der dazugehörigen JSON-Konfigurationsdatei verwenden. Das ist nützlich für Stimmen, die nicht in der vorkonfigurierten Liste verfügbar sind, oder für individuell trainierte Stimmen. Sie finden von der Community trainierte Piper-Modelle auf Hugging Face oder trainieren Ihre eigenen mit dieser Anleitung.

• Kokoro Models: Diese Modelle verwenden ein zweiteiliges System: Stildateien (BIN-Format) und ein gemeinsames ONNX-Modell. Wenn Sie zum ersten Mal eine Kokoro-Stildatei importieren, bietet das Plugin an, das erforderliche ONNX-Modell automatisch herunterzuladen.

• Sprachcodes: Für Kokoro-Modelle ist der Sprachcode für die korrekte Phonemkonvertierung wichtig. Gängige Codes sind:

  • Englisch (US): en-us
  • Englisch (UK): en-gb-x-rp
  • Spanisch: es
  • Französisch: fr
  • Italienisch: it
  • Portugiesisch (Brasilien): pt-br
  • Chinesisch (Mandarin): cmn
  • Hindi: hi
  • Deutsch: de

Individuelle Sprachmodelle werden genauso behandelt wie heruntergeladene Modelle und werden mit Ihrem Projekt paketiert.