Runtime MetaHuman Lip Sync
Документация для плагина Runtime MetaHuman Lip Sync.
Загрузки и ссылки
Демонстрационные проекты:
Доступны два готовых к использованию демо-проекта — подробности, загрузки и пошаговые руководства смотрите на отдельной странице Демо-проекты:
- Полный рабочий процесс разговорного NPC с AI — распознавание речи + чат-бот LLM + TTS + lip sync
- Базовое демо Lip Sync — ввод с микрофона, аудиофайлы, TTS
Оба демо являются кроссплатформенными (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде упакованных сборок и полных исходных проектов UE 5.6+.
Видеоуроки
Избранные демо
Реалистичная модель (высокое качество): руководства
- Высококачественный Lip Sync из аудиофайла/буфера
- Высококачественный Lip Sync с управлением настроением и локальным TTS
- Высококачественный Lip Sync с ElevenLabs и OpenAI TTS
- Высококачественный Lip Sync с живого микрофона
- Высококачественный Lip Sync для ARKit-персонажей
- Высококачественный Lip Sync с удалённого сервера
Стандартные руководства по модели
- Стандартный Lip Sync с живым микрофоном
- Стандартный Lip Sync с локальным синтезом речи
- Стандартный Lip Sync с ElevenLabs и OpenAI TTS
Общая настройка
- Добавление пользовательского персонажа MetaHuman в демо-проект
- Видеоурок по настройке
- Моргание глаз MetaHuman и отслеживание камеры
- Совмещение с анимациями лица и тела
Поддержка
- Поддержка плагинов и индивидуальная разработка: [email protected] (решения под конкретные задачи для команд и организаций)
Обзор
Runtime MetaHuman Lip Sync Documentation
Руководство по настройке
Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.
Руководство по обработке аудио
Узнайте, как настроить различные методы ввода аудио для синхронизации губ, включая микрофон, TTS и потоковые аудиоисточники.
Конфигурация плагина
Узнайте, как настроить модели lip sync, animation blueprints, параметры настроения, параметры производительности и устранить распространённые проблемы с lip sync.
Помощники анимации глаз
Необязательные вспомогательные утилиты для управления направлением взгляда глаз MetaHuman (gaze) и автоматическим морганием глаз вместе с синхронизацией губ.
Как использовать плагин с собственными персонажами
Это руководство проведёт вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Этот процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь во внедрении этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу [email protected].
Конфигурация для конкретной платформы
В этом руководстве описаны требования к настройке и конфигурации для конкретных платформ для плагина Runtime MetaHuman Lip Sync.
Демонстрационные проекты
Готовые к использованию демонстрационные проекты, демонстрирующие Runtime MetaHuman Lip Sync, включая полный рабочий процесс ИИ-аватара для разговора с распознаванием речи, интеграцией LLM, TTS и синхронизацией губ.