Перейти к основному содержимому

Обзор

Документация Runtime AI Chatbot Integrator

Runtime AI Chatbot Integrator — это кроссплатформенный плагин для Unreal Engine, который обеспечивает бесшовную интеграцию AI-чатботов и сервисов преобразования текста в речь (TTS) прямо в ваши проекты. Плагин поддерживает несколько ведущих провайдеров искусственного интеллекта, предлагая гибкие чат-взаимодействия с режимами потоковой и не потоковой передачи ответов, а также высококачественное преобразование текста в речь с возможностью потоковой передачи.

Поддерживаемые функции​

Текст-в-Текст Чат​

Интегрируйте возможности AI-диалогов с несколькими ведущими провайдерами.

OpenAI​

  • GPT-3.5 Turbo
  • GPT-4o
  • GPT-4o Mini
  • GPT-4-32k
  • GPT-4 Turbo
  • GPT-4-1
  • ChatGPT-4o Latest
  • O1 Pro
  • O1
  • O3
  • O3 Mini
  • O4 Mini

Claude (Anthropic)​

  • Claude 3.7 Sonnet
  • Claude 3.5 Sonnet
  • Claude 3.5 Haiku
  • Claude 3 Opus

DeepSeek​

  • DeepSeek Chat
  • DeepSeek Reasoner (с выделенным выводом для рассуждений)

Текст-в-Речь (TTS)​

Преобразуйте текст в естественно звучащую речь с использованием ведущих TTS-провайдеров, поддерживающих как стандартные, так и потоковые режимы.

OpenAI TTS​

Несколько вариантов голосов с поддержкой стандартного и потокового режимов:

  • Alloy
  • Ash
  • Ballad
  • Coral
  • Echo
  • Fable
  • Onyx
  • Nova
  • Sage
  • Shimmer
  • Verse

ElevenLabs TTS​

Несколько моделей с поддержкой стандартного и потокового режимов:

  • Eleven Multilingual V2
  • Eleven Monolingual V1
  • Eleven Turbo V2
  • Eleven Turbo V2.5
  • Eleven Flash V2.5

Ключевые особенности​

  • Кроссплатформенная совместимость (Windows, Mac, Android и др.)
  • Поддержка нескольких AI- и TTS-провайдеров
  • Потоковые и не потоковые чат-ответы
  • Потоковый TTS для синтеза и обработки аудио в реальном времени
  • Высококачественный синтез голоса с минимальной задержкой
  • Простая интеграция с Blueprints и C++ в Unreal Engine
  • Гибкие настройки конфигурации

Необходимые условия​

Для использования плагина вам потребуются учетные данные API от одного из поддерживаемых провайдеров:

Для обработки аудио вы можете реализовать собственное решение или использовать плагин Runtime Audio Importer, который поддерживает импорт аудиоданных в различных форматах (MP3, WAV, FLAC, OGG VORBIS, OGG OPUS, BINK, RAW (PCM)). Подробнее см. здесь.

Дополнительные ресурсы​