Перейти к основному содержимому

Как использовать плагин с пользовательскими персонажами

Это руководство проведёт вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Этот процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь в реализации этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу [email protected].

Важное замечание о моделях Lip Sync

Совместимость с пользовательскими персонажами

Пользовательские персонажи поддерживаются только со Standard (Faster) моделью.

Realistic (Higher Quality) модель разработана исключительно для персонажей MetaHuman и не может использоваться с пользовательскими персонажами. В этом руководстве вы должны следовать инструкциям для Standard модели из основного руководства по настройке, когда они упоминаются.

Требуется дополнительный плагин: Для использования Standard Model с пользовательскими персонажами вы должны установить Standard Lip Sync Extension plugin, как описано в разделе Prerequisites основного руководства по настройке.

Это расширение обязательно для всех реализаций с пользовательскими персонажами, описанных в этом руководстве.

Необходимые условия

Перед началом убедитесь, что ваш персонаж соответствует этим требованиям:

  • Имеет валидный скелет
  • Содержит морф-таргеты (blend shapes) для мимики
  • В идеале имеет 10+ морф-таргетов, определяющих виземы (чем больше визем - тем лучше качество синхронизации губ)

Плагин требует сопоставления морф-таргетов вашего персонажа со следующими стандартными виземами:

Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)

Примечание: Если у вашего персонажа другой набор визем (что весьма вероятно), вам не нужно точное соответствие для каждой виземы. Часто достаточно приблизительных соответствий — например, сопоставление виземы SH вашего персонажа с виземой CH плагина будет работать эффективно, так как это схожие постальвеолярные звуки.

Справочник по сопоставлению визем

Вот сопоставления между распространёнными системами визем и виземами, требуемыми плагином:

ARKit предоставляет комплексный набор блендшейпов для анимации лица, включая несколько форм рта. Вот как сопоставить их с виземами RuntimeMetaHumanLipSync:

Визема RuntimeMetaHumanLipSyncЭквивалент ARKitПримечания
SilmouthCloseНейтральное/покоящееся положение
PPmouthPressLeft + mouthPressRightДля билабиальных звуков используйте оба блендшейпа вместе
FFlowerLipBiteLeft + lowerLipBiteRightОни создают контакт губ с зубами для звуков "f/v"
THtongueOutARKit имеет прямой контроль языка
DDjawOpen (умеренно) + tongueUpКомбинация небольшого открытия челюсти и положения языка
KKmouthLeft или mouthRight (умеренно)Лёгкое подтягивание уголков рта аппроксимирует велярные звуки
CHjawOpen (умеренно) + mouthFunnel (умеренно)Комбинация для постальвеолярных звуков
SSmouthFrownИспользуйте лёгкое нахмуривание для сибилянтов
NNjawOpen (очень умеренно) + mouthCloseПочти закрытый рот с небольшим открытием челюсти
RRmouthPucker (умеренно)Лёгкое округление для звуков "r"
AAjawOpen + mouthOpenКомбинация для широко открытых гласных звуков
EjawOpen (умеренно) + mouthSmileСредне-открытое положение с лёгкой улыбкой
IHmouthSmile (умеренно)Лёгкое растягивание губ
OHmouthFunnelОкруглённая открытая форма
OUmouthPuckerПлотно округлённые губы

Создание пользовательского Pose Asset

Выполните следующие шаги, чтобы создать пользовательский Pose Asset для вашего персонажа, который будет использоваться с нодой Blend Runtime MetaHuman Lip Sync:

1. Найдите Skeletal Mesh вашего персонажа

Найдите скелетный меш, содержащий морф-таргеты (блендшейпы), которые вы хотите использовать для анимации синхронизации губ. Это может быть меш всего тела или только лица, в зависимости от дизайна вашего персонажа.

2. Проверьте доступные Morph Targets

Убедитесь, что ваш скелетный меш имеет подходящие морф-таргеты, которые можно использовать в качестве визем для анимации синхронизации губ. Большинство персонажей с поддержкой лицевой анимации должны иметь некоторые морф-таргеты фонем/визем.

Пример морф-таргетов персонажа

3. Создайте Reference Pose Animation

  1. Перейдите в Create Asset -> Create Animation -> Reference Pose
  2. Введите описательное имя для анимационной последовательности и сохраните её в подходящем месте
  3. Созданная Animation Sequence откроется автоматически, показывая пустую анимацию, воспроизводимую в цикле

Создание ассета референсной позы Наименование ассета референсной позы

  1. Нажмите кнопку Pause, чтобы остановить воспроизведение анимации для удобства редактирования

Приостановка воспроизведения анимации

4. Редактирование Animation Sequence

  1. Нажмите Edit in Sequencer -> Edit with FK Control Rig
  2. В диалоговом окне Bake to Control Rig нажмите кнопку Bake to Control Rig, не изменяя никаких настроек

Редактирование с FK Control Rig Бейкинг в Control Rig

  1. Редактор переключится в Animation Mode с открытой вкладкой Sequencer
  2. Установите View Range End Time на 0016 (что автоматически установит Working Range End также на 0016)
  3. Перетащите правый край слайдера в правый конец окна секвенсора

5. Подготовка анимационных кривых

  1. Вернитесь к ассету Animation Sequence и найдите морф-таргеты в списке Curves (если они не видны, закройте и снова откройте ассет Animation Sequence)
  2. Удалите все морф-таргеты, которые не относятся к виземам или движениям рта, которые вы хотите использовать для Lip Sync

6. Планирование соответствия виземов

Создайте план соответствия виземов вашего персонажа требуемому набору плагина. Например:

Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U

Обратите внимание, что допустимо иметь повторяющиеся соответствия, когда набор визем вашего персонажа не имеет точных совпадений для каждой требуемой виземы.

7. Анимация каждой виземы

  1. Для каждой виземы анимируйте соответствующие кривые морф-таргетов от 0.0 до 1.0
  2. Начинайте анимацию каждой виземы на отдельном кадре
  3. Настройте дополнительные кривые по мере необходимости (открытие челюсти/рта, положение языка и т.д.) для создания естественных форм визем

8. Создание Pose Asset

  1. Перейдите в Create Asset -> Pose Asset -> Current Animation
  2. Введите описательное имя для Pose Asset и сохраните его в подходящем месте
  3. Созданный Pose Asset откроется автоматически, отображая позы типа Pose_0, Pose_1 и т.д., каждая из которых соответствует визему
  4. Проверьте веса виземов, чтобы убедиться, что они работают как ожидалось

Создание Pose Asset Именование Pose Asset Pose Asset с виземами

9. Завершение работы с Pose Asset

  1. Переименуйте каждую позу в соответствии с названиями виземов из раздела Prerequisites
  2. Удалите неиспользуемые позы

Настройка обработки и смешивания аудио

После подготовки вашего Pose Asset необходимо настроить узлы обработки и смешивания аудио:

  1. Найдите или создайте Animation Blueprint вашего персонажа
  2. Настройте обработку и смешивание аудио, следуя тем же шагам, что описаны в стандартном руководстве по настройке плагина
  3. В узле Blend Runtime MetaHuman Lip Sync выберите ваш кастомный Pose Asset вместо стандартного Pose Asset для MetaHuman

Выбор кастомного Pose Asset

Комбинирование с анимациями тела

Если вы хотите выполнять Lip Sync вместе с другими анимациями тела:

  1. Следуйте тем же шагам, что описаны в стандартном руководстве по плагину
  2. Убедитесь, что вы указали правильные имена костей для скелета шеи вашего персонажа вместо имен костей MetaHuman

Результаты

Вот примеры кастомных персонажей, использующих эту настройку:

Пример 1: Lip sync с кастомным персонажем

Пример 2: Lip sync с другой системой визем

Пример 3: Lip sync с другой системой визем

Качество Lip Sync во многом зависит от конкретного персонажа и того, насколько хорошо настроены его виземы. Приведенные выше примеры демонстрируют работу плагина с разными типами кастомных персонажей с различными системами визем.