Перейти к основному содержимому

Как использовать плагин с пользовательскими персонажами

Это руководство проведёт вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Данный процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь в реализации этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу [email protected].

Важное замечание о моделях Lip Sync

⚠️ Пользовательские персонажи поддерживаются только со Standard (Faster) моделью.

Модель Realistic (Higher Quality) разработана исключительно для персонажей MetaHuman и не может использоваться с пользовательскими персонажами. На протяжении этого руководства вы должны следовать инструкциям для Standard модели из основного руководства по настройке, когда они упоминаются.

Предварительные требования

Перед началом убедитесь, что ваш персонаж соответствует следующим требованиям:

  • Имеет валидный скелет
  • Содержит морф-таргеты (blend shapes) для мимики
  • В идеале имеет 10+ морф-таргетов, определяющих виземы (чем больше визем — тем лучше качество lip sync)

Плагин требует сопоставления морф-таргетов вашего персонажа со следующими стандартными виземами:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Примечание: Если у вашего персонажа другой набор визем (что весьма вероятно), вам не требуется точное соответствие для каждой виземы. Часто достаточно приблизительных соответствий — например, сопоставление виземы SH вашего персонажа с виземой CH плагина будет работать эффективно, так как они представляют собой схожие постальвеолярные звуки.

Справочник по сопоставлению визем

Вот сопоставления между распространёнными системами визем и виземами, требуемыми плагином:

ARKit предоставляет комплексный набор блендшейпов для анимации лица, включая несколько форм рта. Вот как их сопоставить с виземами RuntimeMetaHumanLipSync:

Визема RuntimeMetaHumanLipSyncЭквивалент ARKitПримечания
SilmouthCloseНейтральное/покоящееся положение
PPmouthPressLeft + mouthPressRightДля билабиальных звуков используйте оба блендшейпа вместе
FFlowerLipBiteLeft + lowerLipBiteRightЭти блендшейпы создают контакт губы с зубами для звуков "f/v"
THtongueOutARKit имеет прямой контроль над языком
DDjawOpen (умеренно) + tongueUpКомбинация небольшого открытия челюсти и положения языка
KKmouthLeft или mouthRight (умеренно)Лёгкое подтягивание уголков рта аппроксимирует велярные звуки
CHjawOpen (умеренно) + mouthFunnel (умеренно)Комбинация для постальвеолярных звуков
SSmouthFrownИспользуйте лёгкое нахмуривание для сибилянтов
NNjawOpen (очень умеренно) + mouthCloseПочти закрытый рот с небольшим открытием челюсти
RRmouthPucker (умеренно)Лёгкое округление для звуков "r"
AAjawOpen + mouthOpenКомбинация для широко открытых гласных звуков
EjawOpen (умеренно) + mouthSmileСредне-открытое положение с лёгкой улыбкой
IHmouthSmile (умеренно)Лёгкое растягивание губ
OHmouthFunnelОкруглённая открытая форма
OUmouthPuckerПлотно округлённые губы

Создание пользовательского Pose Asset

Выполните следующие шаги для создания пользовательского Pose Asset для вашего персонажа, который будет использоваться с нодой Blend Runtime MetaHuman Lip Sync:

1. Найдите Skeletal Mesh вашего персонажа

Найдите скелетный меш, содержащий морф-таргеты (блендшейпы), которые вы хотите использовать для анимации синхронизации губ. Это может быть меш всего тела или только лица, в зависимости от дизайна вашего персонажа.

2. Проверьте доступные Morph Targets

Убедитесь, что ваш скелетный меш имеет подходящие морф-таргеты, которые можно использовать как виземы для анимации синхронизации губ. Большинство персонажей с поддержкой анимации лица должны иметь некоторые морф-таргеты для фонем/визем.

Пример морф-таргетов персонажа

3. Создайте Reference Pose Animation

  1. Перейдите в Create Asset -> Create Animation -> Reference Pose
  2. Введите описательное имя для анимационной последовательности и сохраните её в подходящем месте
  3. Созданная Animation Sequence откроется автоматически, показывая пустую анимацию, воспроизводимую в цикле

Создание Reference Pose Asset Название Reference Pose Asset

  1. Нажмите кнопку Pause, чтобы остановить воспроизведение анимации для удобства редактирования

Пауза воспроизведения анимации

4. Редактирование Animation Sequence

  1. Нажмите Edit in Sequencer -> Edit with FK Control Rig
  2. В диалоге Bake to Control Rig нажмите кнопку Bake to Control Rig без изменения каких-либо настроек

Редактирование с FK Control Rig Bake to Control Rig

  1. Редактор переключится в Animation Mode с открытой вкладкой Sequencer
  2. Установите View Range End Time на 0016 (что автоматически установит Working Range End также на 0016)
  3. Перетащите правый край слайдера в правый конец окна секвенсора

5. Подготовка анимационных кривых

  1. Вернитесь к ассету Animation Sequence и найдите морф-таргеты в списке Curves (если они не видны, закройте и снова откройте ассет Animation Sequence)
  2. Удалите все морф-таргеты, которые не относятся к виземам или движениям рта, используемым для Lip Sync

6. Планирование соответствия виземов

Создайте план соответствия виземов вашего персонажа требуемому набору плагина. Например:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Обратите внимание, что допустимо иметь повторяющиеся соответствия, если набор визем вашего персонажа не имеет точных совпадений для каждой требуемой виземы.

7. Анимация каждой виземы

  1. Для каждой виземы анимируйте соответствующие кривые морф-таргетов от 0.0 до 1.0
  2. Начинайте анимацию каждой виземы на отдельном кадре
  3. Настройте дополнительные кривые (открытие челюсти/рта, положение языка и т.д.) для создания естественных форм визем

8. Создание Pose Asset

  1. Перейдите в Create Asset -> Pose Asset -> Current Animation
  2. Введите описательное имя для Pose Asset и сохраните его в подходящей локации
  3. Созданный Pose Asset откроется автоматически, отображая позы типа Pose_0, Pose_1 и т.д., каждая из которых соответствует виземе
  4. Проверьте веса визем, чтобы убедиться в их корректной работе

Создание Pose Asset Название Pose Asset Pose Asset с виземами

9. Завершение работы с Pose Asset

  1. Переименуйте каждую позу в соответствии с названиями визем из раздела Prerequisites
  2. Удалите неиспользуемые позы

Настройка обработки аудио и смешивания

После подготовки Pose Asset необходимо настроить узлы обработки аудио и смешивания:

  1. Найдите или создайте Animation Blueprint вашего персонажа
  2. Настройте обработку аудио и смешивание, следуя тем же шагам, что описаны в стандартном руководстве по настройке плагина
  3. В узле Blend Runtime MetaHuman Lip Sync выберите ваш кастомный Pose Asset вместо стандартного MetaHuman Pose Asset

Выбор кастомного Pose Asset

Комбинирование с анимациями тела

Для синхронизации губ вместе с другими анимациями тела:

  1. Следуйте шагам из стандартного руководства по плагину
  2. Убедитесь, что указаны корректные имена костей шеи скелета вашего персонажа вместо имен костей MetaHuman

Результаты

Примеры кастомных персонажей с данной настройкой:

Пример 1: Синхронизация губ с кастомным персонажем

Пример 2: Синхронизация губ с другой системой визем

Пример 3: Синхронизация губ с другой системой визем

Качество синхронизации губ во многом зависит от конкретного персонажа и правильности настройки его визем. Приведенные примеры демонстрируют работу плагина с разными типами кастомных персонажей, имеющих различные системы визем.