Руководство по обработке аудио

Это руководство охватывает настройку различных методов ввода аудио для передачи аудиоданных вашим генераторам синхронизации губ. Убедитесь, что вы завершили Руководство по настройке, прежде чем продолжить.

Обработка аудиовхода

Вам необходимо настроить метод обработки аудиовхода. Существует несколько способов сделать это в зависимости от вашего источника аудио.

Микрофон (Реальное время)

Этот подход выполняет синхронизацию губ в реальном времени во время разговора в микрофон:

Стандартная модель

1. Создайте Capturable Sound Wave с помощью Runtime Audio Importer
   • Для Linux с Pixel Streaming используйте Pixel Streaming Capturable Sound Wave вместо этого
2. Перед началом захвата аудио привяжитесь к делегату OnPopulateAudioData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Начните захват аудио с микрофона

Копируемые узлы.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Микрофон (Воспроизведение)

Этот подход захватывает аудио с микрофона, затем воспроизводит его с синхронизацией губ:

Стандартная модель

1. Создайте Capturable Sound Wave с помощью Runtime Audio Importer
   • Для Linux с Pixel Streaming используйте Pixel Streaming Capturable Sound Wave вместо этого
2. Начните захват аудио с микрофона
3. Перед воспроизведением capturable sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые узлы.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Преобразование текста в речь (Локальное)

Обычное

Этот подход синтезирует речь из текста с использованием локального TTS и выполняет синхронизацию губ:

Стандартная модель

1. Используйте Runtime Text To Speech для генерации речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением импортированного sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые узлы.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Потоковое

Этот подход использует потоковый синтез речи из текста с синхронизацией губ в реальном времени:

Стандартная модель

1. Используйте Runtime Text To Speech для генерации потоковой речи из текста
2. Используйте Runtime Audio Importer для импорта синтезированного аудио
3. Перед воспроизведением потокового sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые узлы.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Преобразование текста в речь (Внешние API)

Обычное

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации синтезированной речи из AI-сервисов (OpenAI или ElevenLabs) и выполнения синхронизации губ:

Стандартная модель

1. Используйте Runtime AI Chatbot Integrator для генерации речи из текста с использованием внешних API (OpenAI, ElevenLabs и т.д.)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением импортированного sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые узлы.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Потоковое

Этот подход использует плагин Runtime AI Chatbot Integrator для генерации синтезированной потоковой речи из AI-сервисов (OpenAI или ElevenLabs) и выполнения синхронизации губ:

Стандартная модель

1. Используйте Runtime AI Chatbot Integrator для подключения к потоковым TTS API (таким как ElevenLabs Streaming API)
2. Используйте Runtime Audio Importer для импорта синтезированных аудиоданных
3. Перед воспроизведением потокового sound wave привяжитесь к его делегату OnGeneratePCMData
4. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator

Копируемые узлы.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Из аудиофайла/буфера

Этот подход использует предварительно записанные аудиофайлы или аудиобуферы для синхронизации губ:

Стандартная модель

1. Используйте Runtime Audio Importer для импорта аудиофайла с диска или из памяти
2. Перед воспроизведением импортированного sound wave привяжитесь к его делегату OnGeneratePCMData
3. В привязанной функции вызовите ProcessAudioData из вашего Runtime Viseme Generator
4. Воспроизведите импортированный sound wave и наблюдайте анимацию синхронизации губ

Копируемые узлы.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Потоковый аудиобуфер

Для потоковых аудиоданных из буфера вам необходимо:

Стандартная модель

1. Аудиоданные в формате float PCM (массив сэмплов с плавающей запятой), доступные из вашего потокового источника (или используйте Runtime Audio Importer для поддержки больше форматов)
2. Частота дискретизации и количество каналов
3. Вызовите ProcessAudioData из вашего Runtime Viseme Generator с этими параметрами по мере поступления аудиофрагментов

Копируемые узлы.

Реалистичная модель

Реалистичная модель использует тот же рабочий процесс обработки аудио, что и Стандартная модель, но с переменной RealisticLipSyncGenerator вместо VisemeGenerator.

Копируемые узлы.

Реалистичная модель с поддержкой настроения

Модель с поддержкой настроения использует тот же рабочий процесс обработки аудио, но с переменной MoodMetaHumanLipSyncGenerator и дополнительными возможностями настройки настроения.

Копируемые узлы.

Примечание: При использовании потоковых источников аудио убедитесь, что вы правильно управляете временем воспроизведения аудио, чтобы избежать искаженного воспроизведения. Подробнее см. в документации Streaming Sound Wave.

Советы по производительности обработки

• Размер фрагмента: Увеличение опции конфигурации ProcessingChunkSize (например, до 320, 480 или 640 сэмплов) может заметно улучшить задержку с минимальным влиянием на качество или отзывчивость.

• Тип модели: При использовании реалистичных моделей переключение на тип модели Highly Optimized (выбран по умолчанию) может улучшить производительность. Обратите внимание, что оригинальная модель может давать немного лучшее качество, особенно с шумным аудио.

• Управление буфером: Модель с поддержкой настроения обрабатывает аудио кадрами по 320 сэмплов (20 мс при 16 кГц). Убедитесь, что время вашего аудиовхода соответствует этому для оптимальной производительности.

• Пересоздание генератора: Для надежной работы с реалистичными моделями пересоздавайте генератор каждый раз, когда вы хотите подать новые аудиоданные после периода бездействия.

Следующие шаги

После настройки обработки аудио вы можете:

• Узнать о параметрах конфигурации для тонкой настройки поведения синхронизации губ
• Добавить анимацию смеха для большей выразительности
• Объединить синхронизацию губ с существующими лицевыми анимациями, используя техники наслоения, описанные в руководстве по конфигурации