Руководство по обработке аудио

Это руководство охватывает настройку различных методов ввода аудио для передачи аудиоданных вашим генераторам синхронизации губ. Убедитесь, что вы завершили Руководство по настройке перед продолжением.

Обработка аудиовхода

Вам необходимо настроить метод обработки аудиовхода. Существует несколько способов сделать это в зависимости от вашего источника аудио.

Микрофон (Реальное время)

Этот подход выполняет синхронизацию губ в реальном времени во время разговора в микрофон:

Стандартная модель

1. Создайте Capturable Sound Wave с помощью Runtime Audio Importer
   • Для Linux с Pixel Streaming используйте Pixel Streaming Capturable Sound Wave вместо этого
2. Перед началом захвата аудио привяжитесь к делегату OnPopulateAudioData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Начните захват аудио с микрофона

Копируемые ноды.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Микрофон (Воспроизведение)

Этот подход захватывает аудио с микрофона, затем воспроизводит его с синхронизацией губ:

Стандартная модель

1. Создайте Capturable Sound Wave с помощью Runtime Audio Importer
   • Для Linux с Pixel Streaming используйте Pixel Streaming Capturable Sound Wave вместо этого
2. Начните захват аудио с микрофона
3. Перед воспроизведением capturable sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Преобразование текста в речь (Локальное)

Обычное

Этот подход синтезирует речь из текста с использованием локального TTS и выполняет синхронизацию губ:

Стандартная модель

1. Используйте Runtime Text To Speech для генерации речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением импортированного sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Потоковое

Этот подход использует потоковый синтез речи из текста с синхронизацией губ в реальном времени:

Стандартная модель

1. Используйте Runtime Text To Speech для генерации потоковой речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением потокового sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Преобразование текста в речь (Внешние API)

Обычное

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации синтезированной речи из AI-сервисов (OpenAI или ElevenLabs) и выполнения синхронизации губ:

Стандартная модель

1. Используйте Runtime AI Chatbot Integrator для генерации речи из текста с использованием внешних API (OpenAI, ElevenLabs и т.д.)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением импортированного sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Потоковое

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации синтезированной потоковой речи из AI-сервисов (OpenAI или ElevenLabs) и выполнения синхронизации губ:

Стандартная модель

1. Используйте Runtime AI Chatbot Integrator для подключения к потоковым TTS API (таким как ElevenLabs Streaming API)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением потокового sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые ноды.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Из аудиофайла/буфера

Этот подход использует предварительно записанные аудиофайлы или аудиобуферы для синхронизации губ:

Стандартная модель

1. Используйте Runtime Audio Importer для импорта аудиофайла с диска или из памяти
2. Перед воспроизведением импортированного sound wave привяжитесь к его делегату OnGeneratePCMData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Воспроизведите импортированный sound wave и наблюдайте анимацию синхронизации губ

Копируемые ноды.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Потоковый аудиобуфер

Для потоковых аудиоданных из буфера вам необходимо:

Стандартная модель

1. Аудиоданные в формате float PCM (массив сэмплов с плавающей точкой), доступные из вашего потокового источника (или используйте Runtime Audio Importer для поддержки больше форматов)
2. Частота дискретизации и количество каналов
3. Вызовите ProcessAudioData из вашего Runtime Viseme Generator с этими параметрами по мере поступления аудиофрагментов

Копируемые ноды.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые ноды.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые ноды.

Примечание: При использовании потоковых источников аудио убедитесь, что вы правильно управляете временем воспроизведения аудио, чтобы избежать искаженного воспроизведения. Подробнее см. в документации Streaming Sound Wave.

Советы по производительности обработки

• Размер фрагмента: Если вы хотите обрабатывать аудиоданные меньшими фрагментами для более отзывчивой синхронизации губ, отрегулируйте расчет в функции SetNumSamplesPerChunk. Например, деление частоты дискретизации на 150 (потоковая передача каждые ~6,67 мс) вместо 100 (потоковая передача каждые 10 мс) обеспечит более частые обновления синхронизации губ.

• Управление буфером: Модель с поддержкой настроения обрабатывает аудио кадрами по 320 сэмплов (20 мс при 16 кГц). Убедитесь, что время вашего аудиовхода соответствует этому для оптимальной производительности.

• Пересоздание генератора: Для надежной работы с Реалистичными моделями пересоздавайте генератор каждый раз, когда вы хотите подать новые аудиоданные после периода бездействия.

Следующие шаги

После настройки обработки аудио вы можете:

• Узнать о параметрах конфигурации для тонкой настройки поведения синхронизации губ
• Добавить анимацию смеха для улучшенной выразительности
• Объединить синхронизацию губ с существующими лицевыми анимациями, используя техники наслоения, описанные в руководстве по конфигурации