Runtime MetaHuman Lip Sync
Документация для плагина Runtime MetaHuman Lip Sync.
Загрузки и ссылки
Демонстрационные проекты
Демо "Речь-в-Речь" (Полный AI-воркфлоу)
- Скачать демо "Речь-в-Речь" (Windows) ⭐ НОВОЕ
- Скачать исходные файлы демо "Речь-в-Речь" (UE 5.6+) ⭐ НОВОЕ – Демонстрирует полный воркфлоу: распознавание речи + AI-чатбот + синтез речи (TTS) + синхронизация губ. Требует этот плагин + Runtime Audio Importer + Runtime Speech Recognizer + Runtime AI Chatbot Integrator + Runtime Text To Speech (опционально). Для стандартной модели требуется небольшой плагин-расширение (см. здесь)
Демо базовой синхронизации губ
- Скачать демо (Windows)
- Скачать исходные файлы демо (UE 5.6+) – Демонстрирует базовые воркфлоу синхронизации губ (ввод с микрофона, аудиофайлы, TTS). Требует этот плагин + Runtime Audio Importer, опционально: Text To Speech / AI Chatbot. Для стандартной модели требуется небольшой плагин-расширение (см. здесь)
Видеоуроки
Избранные демонстрации
Уроки по реалистичной модели (высокое качество)
- Синхронизация губ высокого качества из аудиофайла/буфера
- Синхронизация губ высокого качества с контролем настроения и локальным TTS
- Синхронизация губ высокого качества с ElevenLabs и OpenAI TTS
- Синхронизация губ высокого качества в реальном времени с микрофона
Уроки по стандартной модели
- Стандартная синхронизация губ в реальном времени с микрофона
- Стандартная синхронизация губ с локальным синтезом речи (TTS)
- Стандартная синхронизация губ с ElevenLabs и OpenAI TTS
Общая настройка
- Добавление пользовательского персонажа MetaHuman в демо-проект
- Видеоурок по настройке
- Обзор демо-проекта (старая версия)
Поддержка
- Поддержка плагина и кастомная разработка: [email protected] (индивидуальные решения для команд и организаций)
Обзор
Runtime MetaHuman Lip Sync Documentation
Руководство по настройке
Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.
Руководство по обработке аудио
Узнайте, как настроить различные методы ввода аудио для синхронизации губ, включая микрофон, TTS и потоковые источники аудио.
Настройка плагина
Узнайте, как настраивать модели синхронизации губ, анимационные Blueprints, настройки настроения, параметры производительности и устранять распространенные проблемы с синхронизацией губ.
Как использовать плагин с пользовательскими персонажами
Это руководство проведёт вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Этот процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь в реализации этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу [email protected].
Конфигурация для конкретных платформ
Это руководство охватывает требования к настройке и конфигурации для конкретных платформ для плагина Runtime MetaHuman Lip Sync.