Руководство по обработке аудио

Это руководство охватывает настройку различных методов ввода аудио для передачи аудиоданных вашим генераторам синхронизации губ. Убедитесь, что вы завершили Руководство по настройке перед продолжением.

Обработка аудиовхода

Вам необходимо настроить метод обработки аудиовхода. Существует несколько способов сделать это в зависимости от вашего источника аудио.

Микрофон (Реальное время)

Этот подход выполняет синхронизацию губ в реальном времени во время разговора в микрофон:

Стандартная модель

1. Создайте Capturable Sound Wave используя Runtime Audio Importer
2. Перед началом захвата аудио привяжитесь к делегату OnPopulateAudioData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Начните захват аудио с микрофона

Копируемые ноды.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Микрофон (Воспроизведение)

Этот подход захватывает аудио с микрофона, затем воспроизводит его с синхронизацией губ:

Стандартная Модель

1. Создайте Capturable Sound Wave используя Runtime Audio Importer
2. Начните захват аудио с микрофона
3. Перед воспроизведением capturable sound wave, привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Реалистичная Модель

Реалистичная Модель использует тот же рабочий процесс обработки аудио, что и Стандартная Модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная Модель с Настроением

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Text-to-Speech (Локальный)

Regular

Этот подход синтезирует речь из текста с использованием локального TTS и выполняет синхронизацию губ:

Standard Model

1. Используйте Runtime Text To Speech для генерации речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением импортированной звуковой волны привяжитесь к её делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые узлы.

Realistic Model

Совместимость с локальным TTS

Локальный TTS, предоставляемый плагином Runtime Text To Speech, в настоящее время не поддерживается с обычной реалистичной моделью из-за конфликтов среды выполнения ONNX. Для преобразования текста в речь с обычной реалистичной моделью рассмотрите:

• Использование внешних TTS-сервисов (ElevenLabs, OpenAI и т.д.)
• Использование внешних локальных TTS-решений (Python-базированные TTS, системные TTS API или другие локальные решения без ONNX)
• Использование Стандартной модели или Реалистичной модели с поддержкой настроения вместо этого, которые поддерживают плагин Runtime Text To Speech

Mood-Enabled Realistic Model

1. Используйте Runtime Text To Speech для генерации речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением импортированной звуковой волны привяжитесь к её делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Mood-Enabled Lip Sync Generator
5. Настройте параметры настроения на основе текстового содержания или желаемого эмоционального выражения

Копируемые узлы.

TTS с интеграцией настроения:

• Устанавливайте соответствующие настроения до или во время генерации TTS
• Настраивайте интенсивность настроения в соответствии с эмоциональным тоном текста
• Используйте разные настроения для разных разделов длинного текстового контента

Streaming

Этот подход использует потоковый синтез речи из текста с синхронизацией губ в реальном времени:

Standard Model

1. Используйте Runtime Text To Speech для генерации потоковой речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением потоковой звуковой волны привяжитесь к её делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые узлы.

Realistic Model

Совместимость с локальным TTS

Локальный TTS, предоставляемый плагином Runtime Text To Speech, в настоящее время не поддерживается с обычной моделью Realistic из-за конфликтов среды выполнения ONNX. Для синтеза речи с обычной моделью Realistic рассмотрите:

• Использование внешних TTS-сервисов (ElevenLabs, OpenAI и т.д.)
• Использование внешних локальных TTS-решений (Python-based TTS, системные TTS API или другие локальные решения без ONNX)
• Использование Standard Model или Mood-Enabled Realistic Model вместо этого, которые поддерживают плагин Runtime Text To Speech

Mood-Enabled Realistic Model

1. Используйте Runtime Text To Speech для генерации потоковой речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением потоковой звуковой волны привяжитесь к её делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Mood-Enabled Lip Sync Generator
5. При необходимости динамически настраивайте параметры настроения во время потоковой передачи

Копируемые узлы.

Text-to-Speech (Внешние API)

Обычный

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации синтезированной речи из AI-сервисов (OpenAI или ElevenLabs) и выполнения синхронизации губ:

Стандартная Модель

1. Используйте Runtime AI Chatbot Integrator для генерации речи из текста с помощью внешних API (OpenAI, ElevenLabs и т.д.)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением импортированной звуковой волны привяжитесь к ее делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые узлы.

Реалистичная Модель

Реалистичная Модель использует тот же рабочий процесс обработки аудио, что и Стандартная Модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная Модель с Настроением

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Стриминг

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации синтезированной потоковой речи от AI-сервисов (OpenAI или ElevenLabs) и выполнения синхронизации губ:

Стандартная Модель

1. Используйте Runtime AI Chatbot Integrator для подключения к потоковым TTS API (таким как ElevenLabs Streaming API)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением потоковой звуковой волны привяжитесь к ее делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые узлы.

Реалистичная Модель

Реалистичная Модель использует тот же рабочий процесс обработки аудио, что и Стандартная Модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная Модель с Настроением

Модель с Настроением использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Из аудиофайла/буфера

Этот подход использует предварительно записанные аудиофайлы или аудиобуферы для синхронизации губ:

Стандартная модель

1. Используйте Runtime Audio Importer для импорта аудиофайла с диска или из памяти
2. Перед воспроизведением импортированной звуковой волны привяжитесь к её делегату OnGeneratePCMData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Воспроизведите импортированную звуковую волну и наблюдайте анимацию синхронизации губ

Копируемые узлы.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная модель с настроением

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Потоковый аудиобуфер

Для потоковой передачи аудиоданных из буфера вам необходимо:

Стандартная модель

1. Аудиоданные в формате float PCM (массив семплов с плавающей точкой), доступные из вашего источника потоковой передачи (или используйте Runtime Audio Importer для поддержки больше форматов)
2. Частота дискретизации и количество каналов
3. Вызывайте ProcessAudioData из вашего Runtime Viseme Generator с этими параметрами по мере поступления аудиофрагментов

Копируемые узлы.

Realistic Model

Модель Realistic использует тот же рабочий процесс обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Mood-Enabled Realistic Model

Модель Mood-Enabled использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Примечание: При использовании потоковых источников аудио обязательно управляйте временем воспроизведения аудио соответствующим образом, чтобы избежать искаженного воспроизведения. Дополнительную информацию смотрите в документации по Streaming Sound Wave.

Советы по производительности обработки

• Размер чанка: Если вы хотите обрабатывать аудиоданные меньшими порциями для более отзывчивой синхронизации губ, скорректируйте расчет в функции SetNumSamplesPerChunk. Например, деление частоты дискретизации на 150 (потоковая передача каждые ~6,67 мс) вместо 100 (потоковая передача каждые 10 мс) обеспечит более частые обновления синхронизации губ.

• Управление буфером: Модель с поддержкой настроения обрабатывает аудио кадрами по 320 сэмплов (20 мс при 16 кГц). Убедитесь, что время вашего аудиовхода соответствует этому для оптимальной производительности.

• Пересоздание генератора: Для надежной работы с Realistic моделями пересоздавайте генератор каждый раз, когда вы хотите подать новые аудиоданные после периода бездействия.

Следующие шаги

После настройки обработки аудио вы можете:

• Ознакомиться с параметрами конфигурации для тонкой настройки поведения синхронизации губ
• Добавить анимацию смеха для повышения выразительности
• Комбинировать синхронизацию губ с существующими лицевыми анимациями, используя методы наслоения, описанные в руководстве по конфигурации