Runtime MetaHuman Lip Sync
Документация для плагина Runtime MetaHuman Lip Sync.
Загрузки и ссылки
Демонстрационные проекты:
Доступны два готовых к использованию демонстрационных проекта — подробности, загрузки и пошаговые руководства смотрите на странице Демонстрационные проекты:
- Full AI Conversational NPC Workflow - распознавание речи + чат-бот на LLM + TTS + синхронизация губ
- Basic Lip Sync Demo - вход с микрофона, аудиофайлы, TTS
Оба демо работают на разных платформах (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде упакованных сборок и полных исходных проектов для UE 5.6+.
Видеоуроки
Избранные демонстрации
Учебные пособия по реалистичной модели (высокое качество)
- High-Quality Lip Sync from Audio File/Buffer
- High-Quality Lip Sync with Mood Control & Local TTS
- High-Quality Lip Sync with ElevenLabs & OpenAI TTS
- High-Quality Live Microphone Lip Sync
- High-Quality Lip Sync for ARKit Characters
Учебные пособия по стандартной модели
- Standard Live Microphone Lip Sync
- Standard Lip Sync with Local Text-to-Speech
- Standard Lip Sync with ElevenLabs & OpenAI TTS
Общая настройка
- Adding a Custom MetaHuman Character to the Demo Project
- Setup tutorial video
- Demo project walkthrough (older)
Поддержка
- Поддержка плагина и индивидуальная разработка: [email protected] (индивидуальные решения для команд и организаций)
Обзор
Runtime MetaHuman Lip Sync Documentation
Руководство по настройке
Это руководство проведет вас через базовый процесс настройки Runtime MetaHuman Lip Sync для ваших персонажей MetaHuman.
Руководство по обработке аудио
Узнайте, как настроить различные методы ввода аудио для синхронизации губ, включая микрофон, TTS и потоковые аудиоисточники.
Конфигурация плагина
Узнайте, как настраивать модели синхронизации губ, анимационные блюпринты, параметры настроения, опции производительности и устранять распространенные проблемы с синхронизацией губ.
Вспомогательные инструменты для анимации глаз
Вспомогательные утилиты (опционально) для управления направлением взгляда MetaHuman (gaze) и автоматическим морганием глаз в сочетании с синхронизацией губ.
Как использовать плагин с пользовательскими персонажами
Это руководство проведёт вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Этот процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь в реализации этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу [email protected].
Конфигурация для конкретных платформ
Это руководство охватывает требования к настройке и конфигурации для конкретных платформ для плагина Runtime MetaHuman Lip Sync.
Демонстрационные проекты
Готовые к использованию демонстрационные проекты, демонстрирующие Runtime MetaHuman Lip Sync, включая полный рабочий процесс разговорного ИИ-аватара с распознаванием речи, интеграцией LLM, TTS и синхронизацией губ.