Перейти к основному содержимому

Обзор

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync — это плагин, который обеспечивает синхронизацию губ в реальном времени, в автономном режиме и на разных платформах как для MetaHuman, так и для пользовательских персонажей. Он позволяет анимировать губы персонажа в ответ на аудиовход из различных источников, включая:

Плагин внутренне генерирует виземы (визуальные представления фонем) на основе аудиовхода. Поскольку он работает напрямую с аудиоданными, а не с текстом, плагин поддерживает многоязычный ввод, включая, но не ограничиваясь английским, испанским, французским, немецким, японским, китайским, корейским, русским, итальянским, португальским, арабским и хинди. Буквально любой язык поддерживается, так как липсинк генерируется из аудиофонем, а не из языковой обработки текста.

Стандартная модель создаёт 14 висем и выполняет анимацию синхронизации губ с использованием заранее заданного ассета поз. В отличие от неё, реалистичные модели (эксклюзивные для персонажей на основе MetaHuman и ARKit) генерируют 81 изменение контроля лица без опоры на заранее заданный ассет поз, что обеспечивает значительно более реалистичную лицевую анимацию.

Совместимость персонажей​

Несмотря на своё название, Runtime MetaHuman Lip Sync работает с широким спектром персонажей, а не только с MetaHuman:

  • Daz Genesis 8/9 персонажи
  • Reallusion Character Creator 3/4/5 (CC3/CC4/CC5) персонажи
  • Mixamo персонажи

Поддержка стандартов анимации​

  • Системы блендшейпов на основе FACS
  • Стандарт блендшейпов Apple ARKit
  • Наборы фонем Престона Блэра
  • Системы фонем в 3ds Max
  • Любой персонаж с пользовательскими морф-таргетами для мимики

Многие популярные системы, включая Reallusion CC4/CC5 и Daz Genesis 8.1/9, также могут быть преобразованы для использования стандартных имен blendshape ARKit. Это позволяет использовать Realistic Model для этих персонажей, с его более качественной анимацией лица, как альтернативу ручному сопоставлению визем в Standard Model. Подробности см. в разделе Преобразование персонажей в blendshape ARKit.

Для персонажей, не являющихся MetaHuman, использующих Standard Model, см. Руководство по настройке пользовательских персонажей. Для персонажей на основе ARKit, использующих Realistic Models, см. Выбор набора морф-таргетов.

Анимационное превью​

Посмотрите эти короткие анимации, чтобы оценить качество анимации синхронизации губ, создаваемой плагином, для разных типов персонажей и моделей:

Реалистичная модель с персонажем MetaHuman
Стандартная модель с персонажем MetaHuman
Стандартная модель с пользовательским персонажем
Стандартная модель с пользовательским персонажем

Ключевые особенности​

Модели липсинка​

Плагин предлагает несколько моделей липсинка для различных нужд проекта:

Стандартная модель липсинка обеспечивает эффективную кроссплатформенную производительность с широкой совместимостью персонажей:

  • Работает с MetaHumans и всеми типами пользовательских персонажей
  • Оптимизировано для работы в реальном времени
  • Сниженные требования к ресурсам
  • Поддержка платформ: Windows, Android, платформы на базе Android (включая Meta Quest)
Расширение плагина обязательно

Чтобы использовать стандартную модель, необходимо установить дополнительный плагин-расширение. Инструкции по установке см. в разделе «Предварительные требования».

Вы можете выбрать подходящую модель в зависимости от требований вашего проекта к производительности, совместимости персонажей, визуальному качеству, целевой платформе и функциональным потребностям.

Как это работает​

Плагин обрабатывает аудиовход следующим образом:

  1. Аудиоданные принимаются в формате float PCM с указанными каналами и частотой дискретизации
  2. Плагин обрабатывает аудио для генерации данных управления лицевой анимацией или визем в зависимости от модели
  3. Для моделей с поддержкой настроения эмоциональный контекст применяется к лицевой анимации
  4. Данные анимации управляют движениями лица персонажа в реальном времени

Архитектура производительности​

Runtime MetaHuman Lip Sync использует инференс только на CPU для обеспечения стабильных результатов синхронизации губ с низкой задержкой, подходящих для приложений реального времени. По умолчанию плагин выполняет обработку синхронизации губ каждые 10 миллисекунд (настраивается — см. Конфигурация плагина для всех доступных настроек, включая Размер блока обработки, количество потоков и другие параметры производительности).

Обзор архитектуры модели​

Модели липсинка используют компактную нейронную сеть на основе трансформера, которая обрабатывает аудио через анализ мел-спектрограммы. Эта лёгкая архитектура специально разработана для работы в реальном времени с эффективным выводом на CPU и минимальным потреблением памяти.

Почему инференс на CPU?​

Для небольших и частых операций инференса, таких как синхронизация губ в реальном времени, обработка на CPU обеспечивает лучшие характеристики задержки, чем на GPU. При размере пакета 1 и интервалах инференса 10–100 мс накладные расходы GPU на передачу через PCIe и запуск ядер часто превышают фактическое время вычислений. Кроме того, в игровых движках GPU уже перегружен рендерингом, шейдерами и физикой, что создает конкуренцию за ресурсы и приводит к непредсказуемым скачкам задержки.

Совместимость с оборудованием​

Плагин эффективно работает на большинстве процессоров среднего и более высокого уровня без необходимости в выделенном графическом оборудовании, обеспечивая производительность в реальном времени на настольных, мобильных и VR-платформах. Для более слабого оборудования вы можете изменить Тип модели на Полуоптимизированный или Высокооптимизированный, либо увеличить Размер обрабатываемого фрагмента, чтобы сохранить производительность в реальном времени с немного сниженной отзывчивостью.

Быстрый старт​

Вот базовая настройка для включения синхронизации губ на вашем персонаже:

  1. Для персонажей MetaHuman следуйте Руководству по настройке
  2. Для пользовательских персонажей следуйте Руководству по настройке пользовательских персонажей
  3. Выберите и настройте предпочитаемую модель синхронизации губ
  4. Настройте обработку аудиовхода в вашем Blueprint
  5. Подключите соответствующий узел синхронизации губ в Animation Blueprint
  6. Воспроизведите аудио и увидьте, как ваш персонаж анимируется синхронно

Необязательная анимация глаз​

Плагин также включает дополнительные вспомогательные функции для автоматического моргания и отслеживания взгляда на MetaHumans. Они не зависят от синхронизации губ и могут использоваться отдельно или поверх нее. См. Вспомогательные функции анимации глаз.

Дополнительные ресурсы​

📦 Загрузки и ссылки​

Демонстрационные проекты:

Доступны два готовых к использованию демонстрационных проекта — подробности, загрузки и пошаговые руководства смотрите на специальной странице «Демонстрационные проекты»:

Обе демо-версии кроссплатформенные (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде упакованных сборок и полных исходных проектов UE 5.6+.

🎥 Видеоуроки​

Рекомендуемые демонстрации:​

Реалистичная модель (высокое качество): учебные пособия:​

Стандартные руководства по моделям:​

Общая настройка:​

💬 Поддержка​

  • Индивидуальная разработка: [email protected] (индивидуальные решения для команд и организаций)
Join our Discord
online · support