Zum Hauptinhalt springen

Übersicht

Runtime AI Chatbot Integrator Dokumentation

Runtime AI Chatbot Integrator ist ein plattformübergreifendes Unreal Engine Plugin, das die nahtlose Integration von AI-Chatbots und Text-to-Speech-Diensten direkt in Ihre Projekte ermöglicht. Das Plugin unterstützt mehrere führende AI-Anbieter und bietet flexible Chat-Interaktionen mit Streaming- und Nicht-Streaming-Antwortmodi sowie hochwertige Text-to-Speech-Konvertierung mit Streaming-Fähigkeiten.

Unterstützte Funktionen​

Text-zu-Text-Chat​

Integrieren Sie KI-gestützte Konversationsfähigkeiten mit mehreren führenden Anbietern.

OpenAI​

  • GPT-3.5 Turbo
  • GPT-4o
  • GPT-4o Mini
  • GPT-4-32k
  • GPT-4 Turbo
  • GPT-4-1
  • ChatGPT-4o Latest
  • O1 Pro
  • O1
  • O3
  • O3 Mini
  • O4 Mini

Claude (Anthropic)​

  • Claude 3.7 Sonnet
  • Claude 3.5 Sonnet
  • Claude 3.5 Haiku
  • Claude 3 Opus

DeepSeek​

  • DeepSeek Chat
  • DeepSeek Reasoner (mit dedizierter Reasoning-Ausgabe)

Text-zu-Sprache (TTS)​

Konvertieren Sie Text in natürlich klingende Sprache mit führenden TTS-Anbietern, sowohl im Standard- als auch im Streaming-Modus.

OpenAI TTS​

Mehrere Sprachoptionen mit regulärer und Streaming-Unterstützung:

  • Alloy
  • Ash
  • Ballad
  • Coral
  • Echo
  • Fable
  • Onyx
  • Nova
  • Sage
  • Shimmer
  • Verse

ElevenLabs TTS​

Mehrere Modelle mit regulärer und Streaming-Unterstützung:

  • Eleven V3 (Neuestes Modell mit menschenähnlicher und ausdrucksstarker Sprachgenerierung, unterstützt 70+ Sprachen)
  • Eleven TTV V3 (Text-to-Voice-Designmodell mit menschenähnlicher und ausdrucksstarker Sprache, unterstützt 70+ Sprachen)
  • Eleven Multilingual V2 (Lebenähnlichstes Modell mit reicher emotionaler Ausdruckskraft)
  • Eleven Turbo V2 (Hochqualitatives, latenzarmes Modell für Englisch optimiert)
  • Eleven Turbo V2.5 (Hochqualitatives, latenzarmes Modell mit multilingualer Unterstützung)
  • Eleven Flash V2 (Ultra-schnelles Modell für Echtzeitanwendungen in Englisch optimiert)
  • Eleven Flash V2.5 (Ultra-schnelles Modell für Echtzeitanwendungen mit multilingualer Unterstützung)

Hauptmerkmale​

  • Plattformübergreifende Kompatibilität (Windows, Mac, Android etc.)
  • Unterstützung mehrerer AI- und TTS-Anbieter
  • Streaming- und Nicht-Streaming-Chatantworten
  • Streaming-TTS für Echtzeit-Audiosynthese und -verarbeitung
  • Hochwertige Sprachsynthese mit minimaler Latenz
  • Einfache Integration mit Unreal Engine Blueprints und C++
  • Flexible Konfigurationsoptionen
  • Unterstützung für 70+ Sprachen mit ElevenLabs V3-Modellen

Voraussetzungen​

Zur Nutzung des Plugins benötigen Sie API-Zugangsdaten von einem der unterstützten Anbieter:

Für die Audioverarbeitung können Sie Ihre eigene Lösung implementieren oder das Runtime Audio Importer Plugin verwenden, das Audiodaten in verschiedenen Formaten importieren kann (MP3, WAV, FLAC, OGG VORBIS, OGG OPUS, BINK, RAW (PCM)). Weitere Informationen finden Sie hier.

Zusätzliche Ressourcen​