Перейти к основному содержимому

Обзор

Документация Runtime AI Chatbot Integrator

Runtime AI Chatbot Integrator — это кроссплатформенный плагин для Unreal Engine, который обеспечивает бесшовную интеграцию AI-чатботов и сервисов преобразования текста в речь непосредственно в ваши проекты. Плагин поддерживает несколько ведущих AI-провайдеров и предлагает гибкие чат-взаимодействия с потоковым и непотоковым режимами ответов, а также высококачественное преобразование текста в речь с возможностями потоковой передачи.

Поддерживаемые функции​

Текст-в-Текст Чат​

Интегрируйте возможности для бесед на основе искусственного интеллекта с несколькими ведущими провайдерами.

OpenAI​

  • GPT-5
  • GPT-5 Mini
  • GPT-5 Nano
  • GPT-3.5 Turbo
  • GPT-4o
  • GPT-4o Mini
  • GPT-4-32k
  • GPT-4 Turbo
  • GPT-4-1
  • ChatGPT-4o Latest
  • O1 Pro
  • O1
  • O3
  • O3 Mini
  • O4 Mini

Claude (Anthropic)​

  • Claude 4.5 Sonnet
  • Claude 4 Sonnet
  • Claude 4.1 Opus
  • Claude 4.0 Opus
  • Claude 3.7 Sonnet
  • Claude 3.5 Haiku
  • Claude 3 Opus

DeepSeek​

  • DeepSeek Chat
  • DeepSeek Reasoner (с выделенным выводом для рассуждений)

Gemini (Google)​

  • Gemini 2.5 Pro
  • Gemini Flash Latest
  • Gemini Flash Lite Latest
  • Gemini 2.5 Flash
  • Gemini 2.5 Flash Lite
  • Gemini 2.0 Flash
  • Gemini 2.0 Flash Lite

Grok (xAI)​

  • Grok 4 Fast Reasoning
  • Grok 4 Fast Non-Reasoning
  • Grok Code Fast 1
  • Grok 4
  • Grok 3
  • Grok 3 Mini
  • Grok 2 Vision 1212
  • Grok 2 1212
  • Grok Vision Beta

Текст-в-Речь (TTS)​

Преобразуйте текст в естественно звучащую речь с использованием ведущих TTS-провайдеров, с поддержкой как стандартных, так и потоковых опций.

OpenAI TTS​

Несколько вариантов голоса с обычной и потоковой поддержкой:

  • Alloy
  • Ash
  • Ballad
  • Coral
  • Echo
  • Fable
  • Onyx
  • Nova
  • Sage
  • Shimmer
  • Verse

Модели:

  • TTS-1
  • TTS-1-HD
  • GPT-4o Mini TTS

ElevenLabs TTS​

Несколько моделей с обычной и потоковой поддержкой:

  • Eleven V3 (Последняя модель с человеческим и выразительным синтезом речи, поддерживает 70+ языков)
  • Eleven TTV V3 (Модель для дизайна "Текст-в-Голос" с человеческим и выразительным звучанием, поддерживает 70+ языков)
  • Eleven Multilingual V2 (Самая реалистичная модель с богатой эмоциональной выразительностью)
  • Eleven Turbo V2 (Высококачественная, низколатентная модель, оптимизированная для английского языка)
  • Eleven Turbo V2.5 (Высококачественная, низколатентная модель с поддержкой нескольких языков)
  • Eleven Flash V2 (Сверхбыстрая модель, оптимизированная для использования в реальном времени на английском языке)
  • Eleven Flash V2.5 (Сверхбыстрая модель, оптимизированная для использования в реальном времени с поддержкой нескольких языков)
  • Eleven Monolingual V1

Google Cloud TTS​

Высококачественные нейронные голоса с обширной языковой поддержкой:

  • Neural2 голоса
  • Studio голоса
  • Wavenet голоса
  • Standard голоса
  • Поддержка Custom Voice
  • Множество языков и локалей
  • Поддержка SSML для детального контроля

Azure TTS​

Когнитивный сервис речи от Microsoft с широким выбором голосов:

  • Нейронные голоса на множестве языков
  • Стили голоса и эмоции
  • Поддержка пользовательских голосов
  • Поддержка разметки SSML
  • Несколько выходных форматов, включая потоковую передачу

Ключевые функции​

  • Кросс-платформенная совместимость (Windows, Mac, Android, iOS, Linux, Meta Quest и другие)
  • Поддержка нескольких провайдеров ИИ и преобразования текста в речь (TTS)
  • Потоковые и непотоковые ответы чата
  • Потоковое преобразование текста в речь для синтеза и обработки аудио в реальном времени
  • Поддержка моделей с рассуждениями с раздельными выводами для рассуждений и контента (DeepSeek, Grok)
  • Высококачественный синтез голоса с минимальной задержкой
  • Простая интеграция с Unreal Engine Blueprints и C++
  • Гибкие опции конфигурации
  • Поддержка 70+ языков с моделями ElevenLabs V3
  • Список голосов и их обнаружение для Google Cloud и Azure TTS

Предварительные требования​

Для использования плагина вам потребуются учетные данные для доступа к API от одного из поддерживаемых провайдеров:

Для обработки аудио вы можете реализовать собственное решение или использовать плагин Runtime Audio Importer, который может импортировать аудиоданные в различных форматах (MP3, WAV, FLAC, OGG VORBIS, OGG OPUS, BINK, RAW (PCM)). Для получения дополнительной информации смотрите здесь.

Дополнительные ресурсы​