Runtime MetaHuman Lip Sync
Документация для плагина Runtime MetaHuman Lip Sync.
Загрузки и ссылки
Демонстрационные проекты:
Доступны два готовых к использованию демонстрационных проекта — см. специальную страницу Демонстрационные проекты с подробными описаниями, загрузками и пошаговыми руководствами:
- Полный рабочий процесс AI-разговорного NPC - распознавание речи + LLM-чат-бот + TTS + синхронизация губ
- Базовое демо синхронизации губ - ввод с микрофона, аудиофайлы, TTS
Оба демо-проекта кроссплатформенные (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде готовых сборок и полных исходных проектов для UE 5.6+.
Видеоуроки
Избранные демо
Уроки по реалистичной модели (высокое качество)
- Высококачественная синхронизация губ из аудиофайла/буфера
- Высококачественная синхронизация губ с управлением настроением и локальным TTS
- Высококачественная синхронизация губ с ElevenLabs и OpenAI TTS
- Высококачественная синхронизация губ с живого микрофона
- Высококачественная синхронизация губ для персонажей ARKit
Уроки по стандартной модели
- Стандартная синхронизация губ с живого микрофона
- Стандартная синхронизация губ с локальным преобразованием текста в речь
- Стандартная синхронизация губ с ElevenLabs и OpenAI TTS
Общая настройка
- Добавление пользовательского персонажа MetaHuman в демонстрационный проект
- Видеоурок по настройке
- Моргание глаз MetaHuman и отслеживание камеры
- Объединение с анимациями лица и тела
- Обзор демонстрационного проекта (старая версия)
Поддержка
- Поддержка плагинов и индивидуальная разработка: [email protected] (индивидуальные решения для команд и организаций)
Обзор
Runtime MetaHuman Lip Sync Documentation
Руководство по настройке
Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.
Руководство по обработке аудио
Узнайте, как настроить различные методы ввода аудио для синхронизации губ, включая микрофон, TTS и потоковые аудиоисточники.
Конфигурация плагина
Узнайте, как настроить модели синхронизации губ, Animation Blueprints, настройки эмоций, параметры производительности и устранить распространённые проблемы с синхронизацией губ.
Помощники анимации глаз
Необязательные вспомогательные утилиты для управления направлением взгляда глаз MetaHuman (gaze) и автоматическим морганием глаз вместе с синхронизацией губ.
Как использовать плагин с собственными персонажами
Это руководство проведёт вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Этот процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь во внедрении этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу [email protected].
Платформенно-специфичная конфигурация
Это руководство охватывает требования к настройке и конфигурации для конкретных платформ плагина Runtime MetaHuman Lip Sync.
Демонстрационные проекты
Готовые к использованию демонстрационные проекты, демонстрирующие Runtime MetaHuman Lip Sync, включая полный рабочий процесс разговорного аватара на основе ИИ с распознаванием речи, интеграцией LLM, TTS и синхронизацией губ.