Passa al contenuto principale

Come utilizzare il plugin

Il Runtime AI Chatbot Integrator fornisce due funzionalità principali: chat da Testo a Testo e Text-to-Speech (TTS). Entrambe le funzionalità seguono un flusso di lavoro simile:

  1. Registrare il token del proprio provider API
  2. Configurare le impostazioni specifiche per la funzionalità
  3. Inviare richieste e elaborare le risposte

Registrare il Token del Provider

Prima di inviare qualsiasi richiesta, registrare il proprio token del provider API utilizzando la funzione RegisterProviderToken.

Registrare il Token del Provider in Blueprint

Funzionalità di Chat da Testo a Testo

Il plugin supporta due modalità di richiesta di chat per ciascun provider:

Richieste di Chat Non in Streaming

Recupera la risposta completa in una singola chiamata.

Send OpenAI Chat Request

Richieste di Chat in Streaming

Ricevi frammenti di risposta in tempo reale per un'interazione più dinamica.

Invia Richiesta Chat in Streaming OpenAI

Fonctionnalité de Synthèse Vocale (TTS)

Convertissez du texte en audio vocal de haute qualité en utilisant les principaux fournisseurs de TTS. Le plugin renvoie des données audio brutes (TArray<uint8>) que vous pouvez traiter selon les besoins de votre projet.

Bien que les exemples ci-dessous démontrent le traitement audio pour la lecture à l'aide du plugin Runtime Audio Importer (voir la documentation sur l'importation audio), le Runtime AI Chatbot Integrator est conçu pour être flexible. Le plugin renvoie simplement les données audio brutes, vous offrant une liberté totale quant à la manière de les traiter pour votre cas d'utilisation spécifique, ce qui peut inclure la lecture audio, l'enregistrement dans un fichier, un traitement audio supplémentaire, la transmission vers d'autres systèmes, des visualisations personnalisées, et bien plus encore.

Requêtes TTS Non-Streaming

Les requêtes TTS non-streaming renvoient les données audio complètes en une seule réponse après que l'intégralité du texte a été traitée. Cette approche est adaptée pour les textes plus courts où attendre l'audio complet ne pose pas de problème.

Envoyer une requête TTS OpenAI

Streaming TTS Requests

Streaming TTS delivers audio chunks as they're generated, allowing you to process data incrementally rather than waiting for the entire audio to be synthesized. This significantly reduces the perceived latency for longer texts and enables real-time applications. ElevenLabs Streaming TTS also supports advanced chunked streaming functions for dynamic text generation scenarios.

Send OpenAI Streaming TTS Request

Ottenere Voci Disponibili

Alcuni provider TTS offrono API di elenco voci per scoprire le voci disponibili in modo programmatico.

Get Google Cloud Voices

Gestione degli Errori

Quando si inviano richieste, è fondamentale gestire potenziali errori controllando l'ErrorStatus nella tua callback. L'ErrorStatus fornisce informazioni su eventuali problemi che potrebbero verificarsi durante la richiesta.

Gestione degli Errori

Annullamento Richieste

Il plugin ti consente di annullare sia le richieste testo-a-testo che quelle TTS mentre sono in corso. Questo può essere utile quando vuoi interrompere una richiesta di lunga durata o cambiare dinamicamente il flusso della conversazione.

Annulla Richiesta

Best Practices

  1. Gestisci sempre i potenziali errori controllando ErrorStatus nella tua callback
  2. Sii consapevole dei limiti di frequenza API e dei costi per ogni provider
  3. Utilizza la modalità streaming per conversazioni lunghe o interattive
  4. Considera di annullare le richieste non più necessarie per gestire le risorse in modo efficiente
  5. Utilizza TTS in streaming per testi più lunghi per ridurre la latenza percepita
  6. Per l'elaborazione audio, il plugin Runtime Audio Importer offre una soluzione conveniente, ma puoi implementare un'elaborazione personalizzata in base alle esigenze del tuo progetto
  7. Quando utilizzi modelli di ragionamento (DeepSeek Reasoner, Grok), gestisci appropriatamente sia gli output di ragionamento che quelli di contenuto
  8. Scopri le voci disponibili utilizzando le API di elenco voci prima di implementare le funzionalità TTS
  9. Per lo streaming a blocchi di ElevenLabs: Utilizza la modalità continua quando il testo viene generato in modo incrementale (come le risposte AI) e la modalità immediata per blocchi di testo preformati
  10. Configura timeout di flush appropriati per la modalità continua per bilanciare la reattività con il flusso vocale naturale
  11. Scegli dimensioni ottimali dei blocchi e ritardi di invio in base ai requisiti in tempo reale della tua applicazione

Troubleshooting

  • Verifica che le tue credenziali API siano corrette per ogni provider
  • Controlla la tua connessione internet
  • Assicurati che eventuali librerie di elaborazione audio che utilizzi (come Runtime Audio Importer) siano installate correttamente quando lavori con le funzionalità TTS
  • Verifica che stai utilizzando il formato audio corretto durante l'elaborazione dei dati di risposta TTS
  • Per TTS in streaming, assicurati di gestire correttamente i blocchi audio
  • Per i modelli di ragionamento, assicurati di elaborare sia gli output di ragionamento che quelli di contenuto
  • Controlla la documentazione specifica del provider per la disponibilità e le capacità del modello
  • Per lo streaming a blocchi di ElevenLabs: Assicurati di chiamare FinishChunkedStreaming quando hai finito per chiudere correttamente la sessione
  • Per problemi con la modalità continua: Verifica che i confini delle frasi siano rilevati correttamente nel tuo testo
  • Per applicazioni in tempo reale: Regola i ritardi di invio dei blocchi e i timeout di flush in base ai tuoi requisiti di latenza