Перейти к основному содержимому

Обзор

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync — это плагин, который обеспечивает синхронизацию губ в реальном времени, в автономном режиме и на различных платформах как для MetaHuman, так и для собственных персонажей. Он позволяет анимировать губы персонажа в ответ на аудиовход из различных источников, включая:

Плагин внутренне генерирует виземы (визуальные представления фонем) на основе аудиовхода. Поскольку он работает напрямую с аудиоданными, а не с текстом, плагин поддерживает многоязычный ввод, включая, но не ограничиваясь: английский, испанский, французский, немецкий, японский, китайский, корейский, русский, итальянский, португальский, арабский и хинди. Поддерживается буквально любой язык, поскольку липсинк генерируется на основе фонем аудио, а не языко-зависимой обработки текста.

Standard Model создает 14 визем и выполняет анимацию синхронизации губ с использованием предопределенного ассета позы. В отличие от него, Realistic Models (эксклюзивно для персонажей на базе MetaHuman и ARKit) генерируют 81 изменение лицевых контролов без использования предопределенного ассета позы, что обеспечивает значительно более реалистичную лицевую анимацию.

Совместимость персонажей​

Несмотря на название, Runtime MetaHuman Lip Sync работает с широким спектром персонажей, а не только с MetaHumans:

  • Daz Genesis 8/9 персонажи
  • Reallusion Character Creator 3/4 (CC3/CC4) персонажи
  • Mixamo персонажи
  • ReadyPlayerMe аватары

Поддержка стандартов анимации​

  • FACS-системы блендшейпов
  • Стандарт блендшейпов Apple ARKit
  • Наборы фонем Престона Блэра
  • Фонемные системы 3ds Max
  • Любой персонаж с пользовательскими морф-таргетами для мимики

Для персонажей, не являющихся MetaHuman, использующих Standard Model, см. Руководство по настройке пользовательского персонажа. Для персонажей на основе ARKit, использующих Realistic Models, см. Выбор набора морф-целей.

Предпросмотр анимации​

Посмотрите эти короткие анимации, чтобы увидеть качество анимации синхронизации губ, создаваемой плагином для разных типов персонажей и моделей:

Реалистичная модель с персонажем MetaHuman
Стандартная модель с персонажем MetaHuman
Стандартная модель с пользовательским персонажем
Стандартная модель с пользовательским персонажем

Основные возможности​

Модели синхронизации губ​

Плагин предлагает несколько моделей липсинка для различных потребностей проекта:

Стандартная модель липсинка обеспечивает эффективную кроссплатформенную производительность и широкую совместимость с персонажами:

  • Работает с MetaHumans и всеми типами пользовательских персонажей
  • Оптимизировано для работы в реальном времени
  • Сниженные требования к ресурсам
  • Поддержка платформ: Windows, Android, платформы на базе Android (включая Meta Quest)
Требуется плагин расширения

Чтобы использовать Standard Model, вам необходимо установить дополнительный плагин расширения. См. раздел «Предварительные требования» для инструкций по установке.

Вы можете выбрать подходящую модель в зависимости от требований вашего проекта к производительности, совместимости персонажей, визуальному качеству, целевой платформе и необходимым функциям.

Как это работает​

Плагин обрабатывает аудиовход следующим образом:

  1. Аудиоданные принимаются в виде float формата PCM с указанными каналами и частотой дискретизации
  2. Плагин обрабатывает аудио, генерируя данные управления лицевой анимацией или виземы в зависимости от модели
  3. Для моделей с поддержкой настроения эмоциональный контекст применяется к лицевой анимации
  4. Данные анимации управляют движениями лица персонажа в реальном времени

Архитектура производительности​

Runtime MetaHuman Lip Sync использует инференс только на CPU, обеспечивая стабильные результаты липсинка с низкой задержкой, подходящие для приложений реального времени. По умолчанию плагин выполняет обработку липсинка каждые 10 миллисекунд (настраивается — см. Конфигурация плагина для всех доступных настроек, включая Размер блока обработки, количество потоков и другие параметры производительности).

Обзор архитектуры модели​

Модели синхронизации губ используют компактную нейронную сеть на основе трансформера, которая обрабатывает аудио через анализ мел-спектрограмм. Эта легковесная архитектура специально разработана для работы в реальном времени с эффективным инференсом на CPU и минимальным потреблением памяти.

Почему инференс на CPU?​

Для небольших частых операций инференса, таких как синхронизация губ в реальном времени, обработка на CPU обеспечивает лучшие характеристики задержки, чем GPU. При размере пакета 1 и интервалах инференса 10–100 мс накладные расходы GPU на передачу по PCIe и запуск ядер часто превышают фактическое время вычислений. Кроме того, в игровых движках GPU уже загружен рендерингом, шейдерами и физикой, что создаёт конкуренцию за ресурсы и вызывает непредсказуемые скачки задержки.

Аппаратная совместимость​

Плагин эффективно работает на большинстве процессоров среднего уровня и выше, не требуя выделенного графического оборудования, обеспечивая производительность в реальном времени на настольных, мобильных и VR-платформах. Для более слабого оборудования вы можете изменить Тип модели на Semi-Optimized или Highly Optimized либо увеличить Размер блока обработки, чтобы сохранить производительность в реальном времени с немного сниженной отзывчивостью.

Быстрый старт​

Вот базовая настройка для включения липсинка на вашем персонаже:

  1. Для персонажей MetaHuman следуйте Руководству по настройке
  2. Для пользовательских персонажей следуйте Руководству по настройке пользовательских персонажей
  3. Выберите и настройте предпочтительную модель синхронизации губ
  4. Настройте обработку аудиовхода в вашем Blueprint
  5. Подключите соответствующий узел синхронизации губ в Animation Blueprint
  6. Воспроизведите аудио и увидите, как ваш персонаж анимируется синхронно

Необязательная анимация глаз​

Плагин также включает дополнительные вспомогательные функции для автоматического моргания и отслеживания взгляда у MetaHumans. Они не зависят от липсинка и могут использоваться отдельно или накладываться поверх него. См. Вспомогательные функции анимации глаз.

Дополнительные ресурсы​

📦 Загрузки и ссылки​

Демо-проекты:

Доступны два готовых к использованию демо-проекта — см. отдельную страницу Демо-проекты с полными подробностями, материалами для загрузки и пошаговыми руководствами:

Обе демо-версии кроссплатформенные (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде собранных сборок и полных исходных проектов UE 5.6+.

🎥 Видеоуроки​

Избранные демо:​

Обучающие материалы по реалистичной модели (высокое качество):​

Уроки по стандартной модели:​

Общая настройка:​

💬 Поддержка​

  • Индивидуальная разработка: [email protected] (индивидуальные решения для команд и организаций)
Join our Discord
online · support