Runtime MetaHuman Lip Sync
Документация для плагина Runtime MetaHuman Lip Sync.
Загрузки и ссылки
Демонстрационные проекты:
Два готовых к использованию демонстрационных проекта доступны — подробную информацию, загрузки и инструкции смотрите на специальной странице «Демонстрационные проекты»:
- Полный ИИ-диалоговый рабочий процесс NPC — распознавание речи + LLM-чатбот + TTS + синхронизация губ
- Базовая демонстрация синхронизации губ — ввод с микрофона, аудиофайлы, TTS
Обе демонстрации являются кроссплатформенными (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде собранных сборок и полных исходных проектов для UE 5.6+.
Видеоуроки
Избранные демо
Учебные пособия по реалистичным моделям (высокое качество)
- Высококачественная синхронизация губ из аудиофайла/буфера
- Высококачественная синхронизация губ с управлением настроением и локальным TTS
- Высококачественная синхронизация губ с ElevenLabs и OpenAI TTS
- Высококачественная синхронизация губ с живого микрофона
- Высококачественная синхронизация губ для персонажей ARKit
Учебные пособия по стандартной модели
- Стандартная синхронизация губ с живого микрофона
- Стандартная синхронизация губ с локальным синтезом речи
- Стандартная синхронизация губ с ElevenLabs и OpenAI TTS
Общая настройка
- Добавление пользовательского персонажа MetaHuman в демонстрационный проект
- Видеоурок по настройке
- Моргание глаз MetaHuman и отслеживание камеры
- Обзор демонстрационного проекта (старая версия)
Поддержка
- Поддержка плагинов и индивидуальная разработка: [email protected] (индивидуальные решения для команд и организаций)
Обзор
Runtime MetaHuman Lip Sync Documentation
Руководство по настройке
Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.
Руководство по обработке аудио
Узнайте, как настроить различные методы ввода аудио для синхронизации губ, включая микрофон, TTS и потоковые аудиоисточники.
Конфигурация плагина
Узнайте, как настраивать модели синхронизации губ, анимационные блюпринты, параметры настроения, опции производительности и устранять распространённые проблемы с синхронизацией губ.
Помощники анимации глаз
Вспомогательные утилиты для управления направлением взгляда MetaHuman (глаза) и автоматическим морганием в сочетании с синхронизацией губ.
Как использовать плагин с пользовательскими персонажами
Это руководство проведет вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Этот процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь во внедрении этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу [email protected].
Платформенно-специфичная конфигурация
Это руководство охватывает требования к настройке и конфигурации для конкретных платформ плагина Runtime MetaHuman Lip Sync.
Демонстрационные проекты
Готовые к использованию демонстрационные проекты, демонстрирующие Runtime MetaHuman Lip Sync, включая полный рабочий процесс разговорного аватара с ИИ, распознаванием речи, интеграцией LLM, TTS и синхронизацией губ.