Passa al contenuto principale

Panoramica

Documentazione Runtime AI Chatbot Integrator

Runtime AI Chatbot Integrator è un plugin multipiattaforma per Unreal Engine che consente l'integrazione diretta di chatbot AI e servizi di sintesi vocale nei tuoi progetti. Il plugin supporta molteplici fornitori AI leader e offre interazioni di chat flessibili con modalità di risposta sia in streaming che non, oltre a una conversione di testo in parlato di alta qualità con capacità di streaming.

Funzionalità Supportate​

Chat da Testo a Testo​

Integra capacità conversazionali alimentate dall'IA con molteplici fornitori leader.

OpenAI​

  • GPT-5
  • GPT-5 Mini
  • GPT-5 Nano
  • GPT-3.5 Turbo
  • GPT-4o
  • GPT-4o Mini
  • GPT-4-32k
  • GPT-4 Turbo
  • GPT-4-1
  • ChatGPT-4o Latest
  • O1 Pro
  • O1
  • O3
  • O3 Mini
  • O4 Mini

Claude (Anthropic)​

  • Claude 4.5 Sonnet
  • Claude 4 Sonnet
  • Claude 4.1 Opus
  • Claude 4.0 Opus
  • Claude 3.7 Sonnet
  • Claude 3.5 Haiku
  • Claude 3 Opus

DeepSeek​

  • DeepSeek Chat
  • DeepSeek Reasoner (con output di ragionamento dedicato)

Gemini (Google)​

  • Gemini 2.5 Pro
  • Gemini Flash Latest
  • Gemini Flash Lite Latest
  • Gemini 2.5 Flash
  • Gemini 2.5 Flash Lite
  • Gemini 2.0 Flash
  • Gemini 2.0 Flash Lite

Grok (xAI)​

  • Grok 4 Fast Reasoning
  • Grok 4 Fast Non-Reasoning
  • Grok Code Fast 1
  • Grok 4
  • Grok 3
  • Grok 3 Mini
  • Grok 2 Vision 1212
  • Grok 2 1212
  • Grok Vision Beta

Sintesi Vocale (TTS)​

Converti il testo in parlato dal suono naturale utilizzando i principali fornitori TTS, con opzioni sia standard che in streaming.

OpenAI TTS​

Multiple opzioni di voce con supporto regolare e in streaming:

  • Alloy
  • Ash
  • Ballad
  • Coral
  • Echo
  • Fable
  • Onyx
  • Nova
  • Sage
  • Shimmer
  • Verse

Modelli:

  • TTS-1
  • TTS-1-HD
  • GPT-4o Mini TTS

ElevenLabs TTS​

Multiple modelli con supporto regolare e in streaming:

  • Eleven V3 (Modello più recente con generazione di parlato umano ed espressivo, supporta 70+ lingue)
  • Eleven TTV V3 (Modello di progettazione Text to Voice con parlato umano ed espressivo, supporta 70+ lingue)
  • Eleven Multilingual V2 (Modello più realistico con ricca espressione emotiva)
  • Eleven Turbo V2 (Modello di alta qualità e bassa latenza ottimizzato per l'inglese)
  • Eleven Turbo V2.5 (Modello di alta qualità e bassa latenza con supporto multilingue)
  • Eleven Flash V2 (Modello ultra-veloce ottimizzato per l'uso in tempo reale in inglese)
  • Eleven Flash V2.5 (Modello ultra-veloce ottimizzato per l'uso in tempo reale con supporto multilingue)
  • Eleven Monolingual V1

Google Cloud TTS​

Voci neurali di alta qualità con ampio supporto linguistico:

  • Voci Neural2
  • Voci Studio
  • Voci Wavenet
  • Voci Standard
  • Supporto Voice personalizzate
  • Multiple lingue e localizzazioni
  • Supporto SSML per un controllo granulare

Azure TTS​

Servizio di sintesi vocale cognitiva di Microsoft con ampie opzioni vocali:

  • Voci neurali in multiple lingue
  • Stili vocali ed emozioni
  • Supporto per voci personalizzate
  • Supporto per markup SSML
  • Multiple formati di output incluso lo streaming

Caratteristiche Principali​

  • Compatibilité multiplateforme (Windows, Mac, Android, iOS, Linux, Meta Quest, et plus)
  • Prise en charge de plusieurs fournisseurs d'IA et de TTS
  • Réponses de chat en streaming et non-streaming
  • TTS en streaming pour la synthèse et le traitement audio en temps réel
  • Prise en charge des modèles de raisonnement avec des sorties de raisonnement et de contenu distinctes (DeepSeek, Grok)
  • Synthèse vocale de haute qualité avec une latence minimale
  • Intégration facile avec les Blueprints et le C++ d'Unreal Engine
  • Options de configuration flexibles
  • Prise en charge de plus de 70 langues avec les modèles ElevenLabs V3
  • Liste des voix et découverte pour Google Cloud et Azure TTS

Prérequis​

Pour utiliser le plugin, vous aurez besoin des informations d'accès à l'API d'un des fournisseurs pris en charge :

Pour le traitement audio, vous pouvez implémenter votre propre solution ou utiliser le plugin Runtime Audio Importer, qui peut importer des données audio dans divers formats (MP3, WAV, FLAC, OGG VORBIS, OGG OPUS, BINK, RAW (PCM)). Pour plus d'informations, voir ici.

Ressources supplémentaires​