Перейти к основному содержимому

Обзор

Runtime AI Chatbot Integrator Documentation

Runtime AI Chatbot Integrator — это кроссплатформенный плагин для Unreal Engine, который обеспечивает бесшовную интеграцию AI-чатботов и сервисов преобразования текста в речь (TTS) прямо в ваши проекты. Плагин поддерживает несколько ведущих провайдеров искусственного интеллекта, предлагая гибкие чат-взаимодействия с режимами потоковой и не потоковой передачи ответов, а также высококачественное преобразование текста в речь с возможностью потокового воспроизведения.

Поддерживаемые функции​

Текстовый чат (Text-to-Text)​

Интеграция возможностей AI-диалогов с поддержкой ведущих провайдеров.

OpenAI​

  • GPT-3.5 Turbo
  • GPT-4o
  • GPT-4o Mini
  • GPT-4-32k
  • GPT-4 Turbo
  • GPT-4-1
  • ChatGPT-4o Latest
  • O1 Pro
  • O1
  • O3
  • O3 Mini
  • O4 Mini

Claude (Anthropic)​

  • Claude 3.7 Sonnet
  • Claude 3.5 Sonnet
  • Claude 3.5 Haiku
  • Claude 3 Opus

DeepSeek​

  • DeepSeek Chat
  • DeepSeek Reasoner (с выделенным выводом для логических рассуждений)

Преобразование текста в речь (Text-to-Speech, TTS)​

Преобразуйте текст в естественно звучащую речь с использованием ведущих TTS-провайдеров, включая стандартные и потоковые режимы.

OpenAI TTS​

Несколько вариантов голосов с поддержкой стандартного и потокового режимов:

  • Alloy
  • Ash
  • Ballad
  • Coral
  • Echo
  • Fable
  • Onyx
  • Nova
  • Sage
  • Shimmer
  • Verse

ElevenLabs TTS​

Несколько моделей с поддержкой стандартного и потокового режимов:

  • Eleven V3 (Последняя модель с человеческим и выразительным звучанием, поддерживает 70+ языков)
  • Eleven TTV V3 (Модель для преобразования текста в голос с человеческим и выразительным звучанием, поддерживает 70+ языков)
  • Eleven Multilingual V2 (Самая реалистичная модель с богатой эмоциональной палитрой)
  • Eleven Turbo V2 (Высококачественная модель с низкой задержкой, оптимизирована для английского)
  • Eleven Turbo V2.5 (Высококачественная модель с низкой задержкой и поддержкой мультиязычности)
  • Eleven Flash V2 (Сверхбыстрая модель, оптимизирована для реального времени на английском)
  • Eleven Flash V2.5 (Сверхбыстрая модель, оптимизирована для реального времени с поддержкой мультиязычности)

Ключевые особенности​

  • Кроссплатформенная совместимость (Windows, Mac, Android и др.)
  • Поддержка нескольких AI- и TTS-провайдеров
  • Потоковые и не потоковые чат-ответы
  • Потоковый TTS для синтеза и обработки аудио в реальном времени
  • Высококачественный синтез голоса с минимальной задержкой
  • Простая интеграция с Unreal Engine Blueprints и C++
  • Гибкие настройки конфигурации
  • Поддержка 70+ языков в моделях ElevenLabs V3

Требования​

Для использования плагина потребуются API-ключи от одного из поддерживаемых провайдеров:

Для обработки аудио можно реализовать собственное решение или использовать плагин Runtime Audio Importer, который поддерживает импорт аудиоданных в различных форматах (MP3, WAV, FLAC, OGG VORBIS, OGG OPUS, BINK, RAW (PCM)). Подробнее см. здесь.

Дополнительные ресурсы​