Перейти к основному содержимому

Обзор

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync — это плагин, обеспечивающий синхронизацию губ в реальном времени, офлайн и кросс-платформенно как для MetaHuman, так и для пользовательских персонажей. Он позволяет анимировать губы персонажа в ответ на аудиовход из различных источников, включая:

Плагин внутренне генерирует виземы (визуальные представления фонем) на основе аудиовхода и выполняет анимацию синхронизации губ с использованием предопределенного ассета поз.

Совместимость с персонажами​

Несмотря на название, Runtime MetaHuman Lip Sync работает с широким спектром персонажей, не ограничиваясь только MetaHumans:

Популярные коммерческие системы персонажей​

  • Персонажи Daz Genesis 8/9
  • Персонажи Reallusion Character Creator 3/4 (CC3/CC4)
  • Персонажи Mixamo
  • Аватары ReadyPlayerMe

Поддержка стандартов анимации​

  • Системы блендшейпов на основе FACS
  • Стандарт блендшейпов Apple ARKit
  • Наборы фонем Preston Blair
  • Системы фонем 3ds Max
  • Любые персонажи с пользовательскими морф-таргетами для мимики

Подробные инструкции по использованию плагина с персонажами, отличными от MetaHuman, см. в Custom Character Setup Guide.

Предпросмотр анимации​

Ознакомьтесь с этими короткими анимациями, чтобы оценить качество синхронизации губ в реальном времени, создаваемой плагином. Анимация может быть применена к любому поддерживаемому персонажу, будь то MetaHuman или пользовательский персонаж из любой поддерживаемой системы.

Lip Sync Example
Lip Sync Example
Lip Sync Example

Ключевые особенности​

  • Реалтайм синхронизация губ с микрофонным вводом
  • Поддержка оффлайн обработки аудио
  • Кросс-платформенная совместимость: Windows, Android, Meta Quest
  • Поддержка множества систем персонажей и стандартов анимации
  • Гибкое маппинга визем для кастомных персонажей

Как это работает​

Плагин обрабатывает аудио ввод следующим образом:

  1. Аудио данные принимаются в формате PCM (float) с указанными каналами и частотой дискретизации
  2. Плагин обрабатывает аудио для генерации визем (фоним)
  3. Эти виземы управляют анимацией синхронизации губ с использованием pose asset персонажа
  4. Анимация применяется к персонажу в реалтайме

Быстрый старт​

Базовая настройка синхронизации губ для вашего персонажа:

  1. Для MetaHuman персонажей следуйте MetaHuman Setup Guide
  2. Для кастомных персонажей следуйте Custom Character Setup Guide
  3. Настройте обработку аудио ввода (например, в Event Graph)
  4. Подключите ноду Blend Runtime MetaHuman Lip Sync в Anim Graph
  5. Воспроизведите аудио и наблюдайте за речью персонажа!

Дополнительные ресурсы​