Zum Hauptinhalt springen

Übersicht

Runtime AI Chatbot Integrator Dokumentation

Runtime AI Chatbot Integrator ist ein plattformübergreifendes Unreal Engine Plugin, das die nahtlose Integration von KI-Chatbots und Text-zu-Sprache-Diensten direkt in Ihre Projekte ermöglicht. Das Plugin unterstützt mehrere führende KI-Anbieter und bietet flexible Chat-Interaktionen mit Streaming- und Nicht-Streaming-Antwortmodi sowie hochwertige Text-zu-Sprache-Konvertierung mit Streaming-Fähigkeiten.

Unterstützte Funktionen​

Text-zu-Text-Chat​

Integrieren Sie KI-gestützte Konversationsfähigkeiten mit mehreren führenden Anbietern.

OpenAI​

  • GPT-5.2
  • GPT-5.1
  • GPT-5
  • GPT-5 Mini
  • GPT-5 Nano
  • GPT-4-1
  • GPT-4-1 Mini
  • GPT-4-1 Nano
  • GPT-4o
  • GPT-4o Mini
  • GPT-4
  • GPT-4 Turbo
  • GPT-4-32k
  • GPT-3.5 Turbo
  • GPT-3.5 Turbo 16k
  • ChatGPT-4o Latest
  • O1
  • O1 Pro
  • O3
  • O3 Mini
  • O4 Mini

Claude (Anthropic)​

  • Claude 4.6 Opus
  • Claude 4.6 Sonnet
  • Claude 4.5 Haiku
  • Claude 4.5 Sonnet
  • Claude 4.5 Opus
  • Claude 4.1 Opus
  • Claude 4 Sonnet
  • Claude 4.0 Opus
  • Claude 3.7 Sonnet
  • Claude 3.5 Haiku
  • Claude 3 Opus

DeepSeek​

  • DeepSeek Chat
  • DeepSeek Reasoner (mit dedizierter Reasoning-Ausgabe)

Gemini (Google)​

  • Gemini 3.1 Pro Preview
  • Gemini 3 Pro Preview
  • Gemini 3 Flash Preview
  • Gemini 2.5 Pro
  • Gemini Flash Latest
  • Gemini Flash Lite Latest
  • Gemini 2.5 Flash
  • Gemini 2.5 Flash Lite
  • Gemini 2.0 Flash
  • Gemini 2.0 Flash Lite

Grok (xAI)​

  • Grok 4.1 Fast Reasoning
  • Grok 4.1 Fast Non-Reasoning
  • Grok 4 Fast Reasoning
  • Grok 4 Fast Non-Reasoning
  • Grok Code Fast 1
  • Grok 4 0709
  • Grok 3
  • Grok 3 Mini
  • Grok 2 Vision 1212

Ollama​

Lokale KI-Modelle mit vollständiger Privatsphäre und ohne API-Schlüssel ausführen:

  • Jedes im Ollama-Bibliothek verfügbare Modell (z.B. Llama 3, Mistral, Gemma, Phi, Qwen und mehr)
  • Benutzerdefinierte und feinabgestimmte Modelle, die lokal gehostet werden

Text-zu-Sprache (TTS)​

Konvertieren Sie Text in natürlich klingende Sprache mit führenden TTS-Anbietern, sowohl mit Standard- als auch mit Streaming-Optionen.

OpenAI TTS​

Mehrere Sprachoptionen mit regulärer und Streaming-Unterstützung:

  • Alloy
  • Ash
  • Ballad
  • Coral
  • Echo
  • Fable
  • Onyx
  • Nova
  • Sage
  • Shimmer
  • Verse

Modelle:

  • TTS-1
  • TTS-1-HD
  • GPT-4o Mini TTS

ElevenLabs TTS​

Mehrere Modelle mit regulärer und Streaming-Unterstützung:

  • Eleven V3 (Neuestes Modell mit menschenähnlicher und ausdrucksstarker Sprachgenerierung, unterstützt 70+ Sprachen)
  • Eleven TTV V3 (Text-to-Voice Design-Modell mit menschenähnlicher und ausdrucksstarker Sprache, unterstützt 70+ Sprachen)
  • Eleven Multilingual V2 (Lebensechtestes Modell mit reichem emotionalem Ausdruck)
  • Eleven Turbo V2 (Hochqualitatives, Latenz-optimiertes Modell für Englisch)
  • Eleven Turbo V2.5 (Hochqualitatives, Latenz-optimiertes Modell mit multilingualer Unterstützung)
  • Eleven Flash V2 (Ultra-schnelles Modell für Echtzeitanwendungen in Englisch optimiert)
  • Eleven Flash V2.5 (Ultra-schnelles Modell für Echtzeitanwendungen mit multilingualer Unterstützung optimiert)
  • Eleven Monolingual V1

Google Cloud TTS​

Hochqualitative neuronale Stimmen mit umfangreicher Sprachunterstützung:

  • Neural2-Stimmen
  • Studio-Stimmen
  • Wavenet-Stimmen
  • Standard-Stimmen
  • Custom Voice-Unterstützung
  • Mehrere Sprachen und Regionaleinstellungen
  • SSML-Unterstützung für fein abgestimmte Kontrolle

Azure TTS​

Microsofts kognitiver Sprachdienst mit umfangreichen Sprachoptionen:

  • Neuronale Stimmen in mehreren Sprachen
  • Sprachstile und Emotionen
  • Custom Voice-Unterstützung
  • SSML-Markup-Unterstützung

Hauptmerkmale​

  • Plattformübergreifende Kompatibilität (Windows, Mac, Android, iOS, Linux, Meta Quest und mehr)
  • Unterstützung für mehrere KI- und TTS-Anbieter
  • Lokale Modellunterstützung via Ollama (kein API-Schlüssel erforderlich, vollständige Privatsphäre)
  • Streaming- und Nicht-Streaming-Chat-Antworten
  • Streaming-TTS für Echtzeit-Audio-Synthese und -Verarbeitung
  • Reasoning-Modell-Unterstützung mit separaten Reasoning- und Inhaltsausgaben (DeepSeek, Grok)
  • Hochqualitative Sprachsynthese mit minimaler Latenz
  • Einfache Integration mit Unreal Engine Blueprints und C++
  • Flexible Konfigurationsoptionen
  • Unterstützung für 70+ Sprachen mit ElevenLabs V3-Modellen
  • Sprachauflistung und -erkennung für Google Cloud und Azure TTS

Voraussetzungen​

Um das Plugin zu verwenden, benötigen Sie API-Zugangsdaten von einem der unterstützten Anbieter:

Für die Audioverarbeitung können Sie Ihre eigene Lösung implementieren oder das Plugin Runtime Audio Importer verwenden, das Audiodaten in verschiedenen Formaten importieren kann (MP3, WAV, FLAC, OGG VORBIS, OGG OPUS, BINK, RAW (PCM)). Weitere Informationen finden Sie hier.

Zusätzliche Ressourcen​