Перейти к основному содержимому

Обзор

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync — это плагин, обеспечивающий синхронизацию губ в реальном времени, в офлайн-режиме и на разных платформах как для MetaHuman, так и для пользовательских персонажей. Он позволяет анимировать губы персонажа в ответ на аудиовход из различных источников, включая:

Плагин внутренне генерирует виземы (визуальные представления фонем) на основе аудиовхода. Поскольку он работает напрямую с аудиоданными, а не с текстом, плагин поддерживает многоязычный ввод, включая, но не ограничиваясь: английский, испанский, французский, немецкий, японский, китайский, корейский, русский, итальянский, португальский, арабский и хинди. Буквально поддерживается любой язык, так как синхронизация губ генерируется из аудиофонем, а не из языковой обработки текста.

Стандартная модель генерирует 14 висем и выполняет анимацию синхронизации губ с использованием предопределенного ассета поз. В отличие от этого, Реалистичные модели (эксклюзивные для персонажей на основе MetaHuman и ARKit) создают 81 изменение лицевой анимации без использования предопределенного ассета поз, что обеспечивает значительно более реалистичную мимику.

Совместимость персонажей​

Несмотря на свое название, Runtime MetaHuman Lip Sync работает с широким спектром персонажей, а не только с MetaHuman:

  • Daz Genesis 8/9 персонажи
  • Reallusion Character Creator 3/4 (CC3/CC4) персонажи
  • Mixamo персонажи
  • ReadyPlayerMe аватары

Поддержка стандартов анимации​

  • Системы блендшейпов на основе FACS
  • Стандарт блендшейпов Apple ARKit
  • Наборы фонем Престона Блэра
  • Системы фонем в 3ds Max
  • Любой персонаж с пользовательскими морф-таргетами для мимики

Для персонажей, не являющихся MetaHuman, использующих Standard Model, см. Руководство по настройке пользовательского персонажа. Для персонажей на основе ARKit, использующих Realistic Models, см. Выбор набора морф-целей.

Анимационный превью​

Посмотрите эти короткие анимации, чтобы оценить качество синхронизации губ, создаваемой плагином, для разных типов персонажей и моделей:

Реалистичная модель с персонажем MetaHuman
Стандартная модель с персонажем MetaHuman
Стандартная модель с пользовательским персонажем
Стандартная модель с пользовательским персонажем

Ключевые особенности​

Модели синхронизации губ​

Плагин предлагает несколько моделей синхронизации губ для соответствия различным потребностям проекта:

Стандартная модель синхронизации губ обеспечивает эффективную кроссплатформенную производительность с широкой совместимостью персонажей:

  • Работает с MetaHumans и всеми типами пользовательских персонажей
  • Оптимизировано для работы в реальном времени
  • Сниженные требования к ресурсам
  • Поддерживаемые платформы: Windows, Android, платформы на базе Android (включая Meta Quest)
Требуется плагин расширения

Чтобы использовать Standard Model, необходимо установить дополнительный плагин-расширение. Инструкции по установке см. в разделе «Предварительные требования».

Вы можете выбрать подходящую модель в зависимости от требований вашего проекта к производительности, совместимости персонажей, визуальному качеству, целевой платформе и необходимым функциям.

Как это работает​

Плагин обрабатывает аудиовход следующим образом:

  1. Аудиоданные принимаются в формате float PCM с указанными каналами и частотой дискретизации
  2. Плагин обрабатывает аудио для генерации данных управления лицевой анимацией или визем в зависимости от модели
  3. Для моделей с поддержкой настроения к лицевой анимации применяется эмоциональный контекст
  4. Данные анимации управляют движениями лица персонажа в реальном времени

Архитектура производительности​

Runtime MetaHuman Lip Sync использует только CPU для вычислений, обеспечивая стабильную низкую задержку синхронизации губ, подходящую для приложений реального времени. По умолчанию плагин выполняет обработку синхронизации губ каждые 10 миллисекунд (настраивается — см. Конфигурация плагина для всех доступных параметров, включая Размер блока обработки, количество потоков и другие параметры производительности).

Обзор архитектуры модели​

Модели синхронизации губ используют компактную нейронную сеть на основе трансформера, которая обрабатывает аудио через мел-спектрограммный анализ. Эта легковесная архитектура специально разработана для работы в реальном времени с эффективным выполнением на ЦП и минимальным потреблением памяти.

Почему инференс на CPU?​

Для небольших частых операций вывода, таких как синхронизация губ в реальном времени, обработка на CPU обеспечивает лучшие характеристики задержки, чем GPU. При размере пакета 1 и интервалах вывода 10–100 мс накладные расходы GPU на передачу данных через PCIe и запуск ядер часто превышают фактическое время вычислений. Кроме того, в игровых движках GPU уже загружен рендерингом, шейдерами и физикой, что создает конкуренцию за ресурсы и приводит к непредсказуемым скачкам задержки.

Совместимость с оборудованием​

Плагин эффективно работает на большинстве процессоров среднего и высокого уровня без необходимости в выделенном графическом оборудовании, обеспечивая производительность в реальном времени на настольных, мобильных и VR-платформах. Для более слабого оборудования вы можете изменить Тип модели на Полуоптимизированный или Высокооптимизированный, либо увеличить Размер обрабатываемого фрагмента, чтобы сохранить производительность в реальном времени с незначительным снижением отзывчивости.

Быстрый старт​

Вот базовая настройка для включения синхронизации губ на вашем персонаже:

  1. Для персонажей MetaHuman следуйте Руководству по настройке
  2. Для пользовательских персонажей следуйте Руководству по настройке пользовательских персонажей
  3. Выберите и настройте предпочитаемую модель синхронизации губ
  4. Настройте обработку аудиовхода в вашем Blueprint
  5. Подключите соответствующий узел синхронизации губ в Animation Blueprint
  6. Воспроизведите аудио и увидьте, как ваш персонаж анимируется синхронно

Опциональная анимация глаз​

Плагин также включает опциональные вспомогательные инструменты для автоматического моргания и отслеживания взгляда на MetaHumans. Они не зависят от синхронизации губ и могут использоваться отдельно или накладываться поверх нее. См. Вспомогательные инструменты анимации глаз.

Дополнительные ресурсы​

📦 Загрузки и ссылки​

Демонстрационные проекты:

Два готовых к использованию демонстрационных проекта доступны — подробную информацию, загрузки и пошаговые руководства смотрите на специальной странице «Демонстрационные проекты»:

Обе демонстрации являются кроссплатформенными (Windows, Mac, Linux, iOS, Android, Meta Quest) и поставляются в виде собранных сборок и полных исходных проектов для UE 5.6+.

🎥 Видеоуроки​

Избранные демонстрации:​

Учебные пособия по реалистичным моделям (высокое качество):​

Учебные пособия по стандартным моделям:​

Общая настройка:​

💬 Поддержка​

  • Индивидуальная разработка: [email protected] (индивидуальные решения для команд и организаций)
Join our Discord
online · support