Перейти к основному содержимому

Как использовать плагин

Runtime AI Chatbot Integrator предоставляет две основные функции: текстовый чат (Text-to-Text) и преобразование текста в речь (Text-to-Speech, TTS). Обе функции следуют схожему рабочему процессу:

  1. Зарегистрируйте токен вашего API-провайдера
  2. Настройте параметры для конкретной функции
  3. Отправляйте запросы и обрабатывайте ответы

Регистрация токена провайдера

Перед отправкой любых запросов зарегистрируйте токен вашего API-провайдера с помощью функции RegisterProviderToken.

Register Provider Token in Blueprint

Функциональность текстового чата

Плагин поддерживает два режима чат-запросов для каждого провайдера:

Непотоковые чат-запросы

Получение полного ответа за один вызов.

Send OpenAI Chat Request

Потоковые запросы чата

Получайте фрагменты ответов в реальном времени для более динамичного взаимодействия.

Отправить потоковый запрос чата OpenAI

Функционал Text-to-Speech (TTS)

Преобразуйте текст в высококачественное аудио с помощью ведущих провайдеров TTS. Плагин возвращает сырые аудиоданные (TArray<uint8>), которые вы можете обрабатывать в соответствии с потребностями вашего проекта.

В примерах ниже демонстрируется обработка аудио для воспроизведения с использованием плагина Runtime Audio Importer (см. документацию по импорту аудио), однако Runtime AI Chatbot Integrator разработан для гибкости. Плагин просто возвращает сырые аудиоданные, предоставляя вам полную свободу в их обработке для конкретных задач, таких как воспроизведение, сохранение в файл, дальнейшая обработка, передача в другие системы, кастомная визуализация и многое другое.

Непотоковые TTS-запросы

Непотоковые TTS-запросы возвращают полные аудиоданные единым ответом после полной обработки текста. Этот подход подходит для коротких текстов, где ожидание полного аудио не является проблемой.

Отправить OpenAI TTS запрос

Потоковые TTS-запросы

Потоковый TTS доставляет аудиофрагменты по мере их генерации, позволяя обрабатывать данные инкрементально, а не ждать полного синтеза аудио. Это значительно снижает воспринимаемую задержку для длинных текстов и позволяет реализовать приложения в реальном времени.

Отправить потоковый TTS-запрос OpenAI

Обработка ошибок

При отправке любых запросов крайне важно обрабатывать потенциальные ошибки, проверяя ErrorStatus в вашем callback-е. ErrorStatus содержит информацию о возможных проблемах, возникших во время выполнения запроса.

Обработка ошибок

Отмена запросов

Плагин позволяет отменять как текстовые запросы, так и TTS-запросы во время их выполнения. Это может быть полезно, когда нужно прервать длительный запрос или динамически изменить ход диалога.

Cancel Request

Лучшие практики

  1. Всегда обрабатывайте потенциальные ошибки, проверяя ErrorStatus в вашем callback
  2. Учитывайте лимиты API и связанные с ним затраты
  3. Используйте streaming mode для длинных или интерактивных диалогов
  4. Рассмотрите возможность отмены запросов, которые больше не нужны, для эффективного управления ресурсами
  5. Используйте streaming TTS для длинных текстов, чтобы уменьшить воспринимаемую задержку
  6. Для обработки аудио плагин Runtime Audio Importer предлагает удобное решение, но вы можете реализовать собственную обработку в зависимости от потребностей проекта

Устранение неполадок

  • Убедитесь, что ваши API-ключи корректны
  • Проверьте подключение к интернету
  • Убедитесь, что все используемые библиотеки для обработки аудио (например, Runtime Audio Importer) правильно установлены при работе с TTS
  • Проверьте, что используете правильный аудиоформат при обработке данных TTS-ответа
  • Для streaming TTS убедитесь, что правильно обрабатываете аудио-чанки