Руководство по обработке аудио

Это руководство охватывает настройку различных методов ввода аудио для передачи аудиоданных вашим генераторам Lip Sync. Убедитесь, что вы завершили Руководство по настройке, прежде чем продолжить.

Обработка ввода аудио

Вам необходимо настроить метод обработки аудиовхода. Существует несколько способов сделать это в зависимости от вашего источника аудио.

Микрофон (Реальное время)

Этот подход выполняет Lip Sync в реальном времени во время разговора в микрофон:

Стандартная модель

1. Создайте Capturable Sound Wave с помощью Runtime Audio Importer
2. Перед началом захвата аудио привяжитесь к делегату OnPopulateAudioData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Начните захват аудио с микрофона

Копируемые ноды.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Microphone (Playback)

Этот подход захватывает аудио с микрофона, затем воспроизводит его с синхронизацией губ:

Standard Model

1. Создайте Capturable Sound Wave с помощью Runtime Audio Importer
2. Начните захват аудио с микрофона
3. Перед воспроизведением capturable sound wave, привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Realistic Model

Realistic Model использует тот же рабочий процесс обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Mood-Enabled Realistic Model

Mood-Enabled Model использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Text-to-Speech (Локальный)

Regular

Этот подход синтезирует речь из текста с использованием локального TTS и выполняет синхронизацию губ:

Standard Model

1. Используйте Runtime Text To Speech для генерации речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением импортированной звуковой волны привяжитесь к её делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые узлы.

Realistic Model

Совместимость с локальным TTS

Локальный TTS, предоставляемый плагином Runtime Text To Speech, в настоящее время не поддерживается с обычной реалистичной моделью из-за конфликтов среды выполнения ONNX. Для преобразования текста в речь с обычной реалистичной моделью рассмотрите использование внешних решений TTS или используйте стандартную модель вместо этого.

Mood-Enabled Realistic Model

1. Используйте Runtime Text To Speech для генерации речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением импортированной звуковой волны привяжитесь к её делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Mood-Enabled Lip Sync Generator
5. Настройте параметры настроения на основе содержания текста или желаемого эмоционального выражения

Копируемые узлы.

TTS с интеграцией настроения:

• Устанавливайте соответствующие настроения до или во время генерации TTS
• Настраивайте интенсивность настроения в соответствии с эмоциональным тоном текста
• Используйте разные настроения для разных разделов длинного текстового контента

Streaming

Этот подход использует потоковый синтез речи с синхронизацией губ в реальном времени:

Standard Model

1. Используйте Runtime Text To Speech для генерации потоковой речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением потоковой звуковой волны привяжитесь к её делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Realistic Model

Совместимость с локальным TTS

Локальный TTS, предоставляемый плагином Runtime Text To Speech, в настоящее время не поддерживается с обычной моделью Realistic из-за конфликтов среды выполнения ONNX. Для синтеза речи с обычной моделью Realistic рассмотрите использование внешних TTS-сервисов или используйте модель Standard.

Mood-Enabled Realistic Model

1. Используйте Runtime Text To Speech для генерации потоковой речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением потоковой звуковой волны привяжитесь к её делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Mood-Enabled Lip Sync Generator
5. При необходимости динамически настраивайте параметры настроения во время потоковой передачи

Копируемые ноды.

Text-to-Speech (External APIs)

Regular

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации синтезированной речи из AI-сервисов (OpenAI или ElevenLabs) и выполнения синхронизации губ:

Standard Model

1. Используйте Runtime AI Chatbot Integrator для генерации речи из текста с помощью внешних API (OpenAI, ElevenLabs и т.д.)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением импортированной звуковой волны привяжитесь к ее делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Realistic Model

Realistic Model использует тот же рабочий процесс обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Mood-Enabled Realistic Model

Mood-Enabled Model использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Streaming

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации синтезированной потоковой речи от AI-сервисов (OpenAI или ElevenLabs) и выполнения lip sync:

Standard Model

1. Используйте Runtime AI Chatbot Integrator для подключения к потоковым TTS API (таким как ElevenLabs Streaming API)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением потоковой звуковой волны привяжитесь к ее делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Realistic Model

Realistic Model использует тот же рабочий процесс обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Mood-Enabled Realistic Model

Mood-Enabled Model использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

From Audio File/Buffer

Этот подход использует предварительно записанные аудиофайлы или аудиобуферы для синхронизации губ:

Standard Model

1. Используйте Runtime Audio Importer для импорта аудиофайла с диска или из памяти
2. Перед воспроизведением импортированной звуковой волны привяжитесь к её делегату OnGeneratePCMData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Воспроизведите импортированную звуковую волну и наблюдайте анимацию синхронизации губ

Копируемые ноды.

Realistic Model

Realistic Model использует тот же рабочий процесс обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Mood-Enabled Realistic Model

Mood-Enabled Model использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Streaming Audio Buffer

Для потоковой передачи аудиоданных из буфера вам потребуется:

Standard Model

1. Аудиоданные в формате float PCM (массив сэмплов с плавающей точкой), доступные из вашего потокового источника (или используйте Runtime Audio Importer для поддержки больше форматов)
2. Частота дискретизации и количество каналов
3. Вызывайте ProcessAudioData из вашего Runtime Viseme Generator с этими параметрами по мере поступления аудиочанков

Копируемые ноды.

Realistic Model

Модель Realistic использует тот же рабочий процесс обработки аудио, что и Standard Model, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Mood-Enabled Realistic Model

Модель Mood-Enabled использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Примечание: При использовании потоковых источников аудио обязательно управляйте временем воспроизведения аудио соответствующим образом, чтобы избежать искаженного воспроизведения. См. документацию Streaming Sound Wave для получения дополнительной информации.

Советы по производительности обработки

• Размер чанка: Если вы хотите обрабатывать аудиоданные меньшими порциями для более отзывчивой Lip Sync, скорректируйте расчет в функции SetNumSamplesPerChunk. Например, деление частоты дискретизации на 150 (потоковая передача каждые ~6,67 мс) вместо 100 (потоковая передача каждые 10 мс) обеспечит более частые обновления Lip Sync.

• Управление буфером: Модель с поддержкой настроения обрабатывает аудио кадрами по 320 сэмплов (20 мс при 16 кГц). Убедитесь, что время вашего аудиовхода синхронизировано с этим для оптимальной производительности.

• Пересоздание генератора: Для надежной работы с Realistic моделями пересоздавайте генератор каждый раз, когда вы хотите подать новые аудиоданные после периода бездействия.

Следующие шаги

После настройки обработки аудио вы можете:

• Изучить параметры конфигурации для тонкой настройки поведения Lip Sync
• Добавить анимацию смеха для повышения выразительности
• Комбинировать Lip Sync с существующими лицевыми анимациями, используя методы наслоения, описанные в руководстве по конфигурации