Runtime MetaHuman Lip Sync
Документация для плагина Runtime MetaHuman Lip Sync.
Загрузки и ссылки
Демонстрационные проекты:
Доступны два готовых к использованию демонстрационных проекта — см. специальную страницу Демонстрационные проекты с подробными описаниями, загрузками и пошаговыми руководствами:
- Полный рабочий процесс AI-разговорного NPC - распознавание речи + LLM-чат-бот + TTS + синхронизация губ
- Базовое демо синхронизации губ - ввод с микрофона, аудиофайлы, TTS
Оба демо-проекта кроссплатформенные (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде готовых сборок и полных исходных проектов для UE 5.6+.
Видеоуроки
Избранные демо
Уроки по реалистичной модели (высокое качество)
- Высококачественная синхронизация губ из аудиофайла/буфера
- Высококачественная синхронизация губ с управлением настроением и локальным TTS
- Высококачественная синхронизация губ с ElevenLabs и OpenAI TTS
- Высококачественная синхронизация губ с живого микрофона
- Высококачественная синхронизация губ для персонажей ARKit
Уроки по стандартной модели
- Стандартная синхронизация губ с живого микрофона
- Стандартная синхронизация губ с локальным преобразованием текста в речь
- Стандартная синхронизация губ с ElevenLabs и OpenAI TTS
Общая настройка
- Добавление пользовательского персонажа MetaHuman в демонстрационный проект
- Видеоурок по настройке
- Моргание глаз MetaHuman и отслеживание камеры
- Объединение с анимациями лица и тела
- Обзор демонстрационного проекта (старая версия)
Поддержка
- Поддержка плагинов и индивидуальная разработка: [email protected] (индивидуальные решения для команд и организаций)
Обзор
Runtime MetaHuman Lip Sync Documentation
Руководство по настройке
Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.
Руководство по обработке аудио
Узнайте, как настроить различные методы ввода аудио для синхронизации губ, включая микрофон, TTS и потоковые аудиоисточники.
Конфигурация плагина
Узнайте, как настраивать модели синхронизации губ, Animation Blueprints, параметры настроения, параметры производительности и устранять распространенные проблемы с синхронизацией губ.
Помощники анимации глаз
Вспомогательные утилиты для управления направлением взгляда MetaHuman (глаза) и автоматическим морганием в сочетании с синхронизацией губ.
Как использовать плагин с пользовательскими персонажами
Это руководство проведет вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Этот процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь во внедрении этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу [email protected].
Платформенно-специфичная конфигурация
Это руководство охватывает требования к настройке и конфигурации для конкретных платформ плагина Runtime MetaHuman Lip Sync.
Демонстрационные проекты
Готовые к использованию демо-проекты, демонстрирующие Runtime MetaHuman Lip Sync, включая полный рабочий процесс разговорного AI-аватара с распознаванием речи, интеграцией LLM, TTS и синхронизацией губ.