Runtime MetaHuman Lip Sync
Документация по плагину Runtime MetaHuman Lip Sync.
Загрузки и ссылки
Демо-проекты:
Доступны два готовых к использованию демо-проекта — см. специальную страницу Демо-проекты для получения полной информации, загрузок и пошаговых инструкций:
- Full AI Conversational NPC Workflow - распознавание речи + LLM-чатбот + TTS + синхронизация губ
- Basic Lip Sync Demo - ввод с микрофона, аудиофайлы, TTS
Оба демо-проекта кроссплатформенные (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде упакованных сборок и полных исходных проектов для UE 5.6+.
Видеоуроки
Избранные демонстрации
Учебные пособия по Realistic Model (High-Quality)
- Высококачественная синхронизация губ из аудиофайла/буфера
- Высококачественная синхронизация губ с управлением настроением и локальным TTS
- Высококачественная синхронизация губ с ElevenLabs и OpenAI TTS
- Высококачественная живая синхронизация губ с микрофона
Учебные пособия по Standard Model
- Стандартная живая синхронизация губ с микрофона
- Стандартная синхронизация губ с локальным Text-to-Speech
- Стандартная синхронизация губ с ElevenLabs и OpenAI TTS
Общая настройка
- Добавление собственного персонажа MetaHuman в демо-проект
- Видеоурок по настройке
- Пошаговое руководство по демо-проекту (более старая версия)
Поддержка
- Поддержка плагина и индивидуальная разработка: [email protected] (индивидуальные решения для команд и организаций)
Обзор
Runtime MetaHuman Lip Sync Documentation
Руководство по настройке
Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.
Руководство по обработке аудио
Узнайте, как настроить различные методы ввода аудио для синхронизации губ, включая микрофон, TTS и потоковые источники аудио.
Настройка плагина
Узнайте, как настраивать модели синхронизации губ, анимационные Blueprints, настройки настроения, параметры производительности и устранять распространенные проблемы с синхронизацией губ.
Как использовать плагин с пользовательскими персонажами
Это руководство проведёт вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Этот процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь в реализации этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу [email protected].
Конфигурация для конкретных платформ
Это руководство охватывает требования к настройке и конфигурации для конкретных платформ для плагина Runtime MetaHuman Lip Sync.
Демонстрационные проекты
Готовые к использованию демонстрационные проекты, демонстрирующие Runtime MetaHuman Lip Sync, включая полный рабочий процесс ИИ-диалога с NPC с распознаванием речи, интеграцией больших языковых моделей (LLM), синтезом речи и синхронизацией губ.