Как использовать плагин с пользовательскими персонажами
Это руководство проведёт вас через процесс настройки Runtime MetaHuman Lip Sync для персонажей, не являющихся MetaHuman. Этот процесс требует знакомства с концепциями анимации и риггинга. Если вам нужна помощь в реализации этого для вашего конкретного персонажа, вы можете обратиться за профессиональной поддержкой по адресу [email protected].
Важное замечание о моделях Lip Sync
Пользовательские персонажи поддерживаются только со Standard (Faster) моделью.
Realistic (Higher Quality) модель разработана исключительно для п ерсонажей MetaHuman и не может использоваться с пользовательскими персонажами. В этом руководстве вы должны следовать инструкциям для Standard модели из основного руководства по настройке, когда они упоминаются.
Требуется дополнительный плагин: Для использования Standard Model с пользовательскими персонажами вы должны установить Standard Lip Sync Extension plugin, как описано в разделе Prerequisites основного руководства по настройке.
Это расширение обязательно для всех реализаций с пользовательскими персонажами, описанных в этом руководстве.
Необходимые условия
Перед началом убедитесь, что ваш персонаж соответствует этим требованиям:
- Имеет валидный скелет
- Содержит морф-таргеты (blend shapes) для мимики
- В идеале имеет 10+ морф-таргетов, определяющих виземы (чем больше визем - тем лучше качество синхронизации губ)
Плагин требует сопос тавления морф-таргетов вашего персонажа со следующими стандартными виземами:
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
Примечание: Если у вашего персонажа другой набор визем (что весьма вероятно), вам не нужно точное соответствие для каждой виземы. Часто достаточно приблизительных соответствий — например, сопоставление виземы SH
вашего персонажа с виземой CH
плагина будет работать эффективно, так как это схожие постальвеолярные звуки.
Справочник по сопоставлению визем
Вот сопоставления между распространёнными системами визем и виземами, требуемыми плагином:
- Apple ARKit
- FACS-Based Systems
- Preston Blair System
- 3ds Max Phoneme System
- Custom Characters (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)
ARKit предоставляет комплексный набор блендшейпов для анимации лица, включая несколько форм рта. Вот как сопоставить их с виземами RuntimeMetaHumanLipSync:
Визема RuntimeMetaHumanLipSync | Эквивалент ARKit | Примечания |
---|---|---|
Sil | mouthClose | Нейтральное/покоящееся положение |
PP | mouthPressLeft + mouthPressRight | Для билабиальных звуков используйте оба блендшейпа вместе |
FF | lowerLipBiteLeft + lowerLipBiteRight | Они создают контакт губ с зубами для звуков "f/v" |
TH | tongueOut | ARKit имеет прямой контроль языка |
DD | jawOpen (умеренно) + tongueUp | Комбинация небольшого открытия челюсти и положения языка |
KK | mouthLeft или mouthRight (умеренно) | Лёгкое подтягивание уголков рта аппроксимирует велярные звуки |
CH | jawOpen (умеренно) + mouthFunnel (умеренно) | Комбинация для постальвеолярных звуков |
SS | mouthFrown | Используйте лёгкое нахмуривание для сибилянтов |
NN | jawOpen (очень умеренно) + mouthClose | Почти закрытый рот с небольшим открытием челюсти |
RR | mouthPucker (умеренно) | Лёгкое округление для звуков "r" |
AA | jawOpen + mouthOpen | Комбинация для широко открытых гласных звуков |
E | jawOpen (умеренно) + mouthSmile | Средне-открытое положение с лёгкой улыбкой |
IH | mouthSmile (умеренно) | Лёгкое растягивание губ |
OH | mouthFunnel | Округлённая открытая форма |
OU | mouthPucker | Плотно округлённые губы |
FACS (Facial Action Coding System) использует Action Units (AUs) для описания движений лица. Многие профессиональные системы анимации используют подходы на основе FACS:
Визема RuntimeMetaHumanLipSync | Action Units FACS | Примечания |
---|---|---|
Sil | Neutral | Нет активных AUs |
PP | AU23 + AU24 | Сжиматель губ + напрягатель губ |
FF | AU22 + AU28 | Воронкообразование губ + всасывание губ |
TH | AU25 (умеренно) + AU27 | Разделённые губы + растяжение рта |
DD | AU25 + AU16 | Разделённые губы + опускатель нижней губы |
KK | AU26 + AU14 | Опускание челюсти + ямочки |
CH | AU18 + AU25 | Сморщивание губ + разделённые губы |
SS | AU20 | Растягиватель губ |
NN | AU25 (очень умеренно) | Лёгкое разделение губ |
RR | AU18 (умеренно) | Лёгкое сморщивание губ |
AA | AU27 + AU26 | Растяжение рта + опускание челюсти |
E | AU25 + AU12 | Разделённые губы + подтягиватель уголков губ |
IH | AU12 + AU25 (умеренно) | Подтягиватель уголков губ + лёгкое разделение губ |
OH | AU27 (умеренно) + AU18 | Лёгкое растяжение рта + сморщивание губ |
OU | AU18 + AU26 (умеренно) | Сморщивание губ + лёгкое опускание челюсти |
Система Престона Блэра — это классический стандарт анимации, использующий описательные названия для форм рта:
RuntimeMetaHumanLipSync Viseme | Preston Blair | Примечания |
---|---|---|
Sil | Rest | Нейтральное закрытое положение рта |
PP | MBP | Классическая форма рта "MBP" |
FF | FV | Положение "FV" с зубами на нижней губе |
TH | TH | Язык касается передних зубов |
DD | D/T/N | Похожее положение для этих согласных |
KK | CKG | Положение для твёрдых согласных |
CH | CH/J/SH | Лёгкий выпяченный рот для этих звуков |
SS | S/Z | Слегка открытое положение зубов |
NN | N/NG/L | Похоже на D/T, но другое положение языка |
RR | R | Округлённые губы для звука R |
AA | AI | Широко открытый рот |
E | EH | Средне открытый рот |
IH | EE | Растянутые губы |
OH | OH | Округлённое среднее открытие |
OU | OO | Плотно округлённые губы |
3ds Max использует систему на основе фонем для Character Studio:
RuntimeMetaHumanLipSync Viseme | 3ds Max Phoneme | Примечания |
---|---|---|
Sil | rest | Положение рта по умолчанию |
PP | p_b_m | Прямой эквивалент |
FF | f_v | Прямой эквивалент |
TH | th | Прямой эквивалент |
DD | t_d | Прямой эквивалент |
KK | k_g | Прямой эквивалент |
CH | sh_zh_ch | Комбинированная форма |
SS | s_z | Прямой эквивалент |
NN | n_l | Комбинировано для этих звуков |
RR | r | Прямой эквивалент |
AA | ah | Открытый гласный звук |
E | eh | Средний гласный |
IH | ee | Закрытый передний гласный |
OH | oh | Задний округлённый гласный |
OU | oo | Закрытый задний гласный |
Пользовательские персонажи с виземами или морф-таргетами/блендшейпами рта (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe и т.д.) обычно могут быть сопоставлены с системой визем плагина с разумными приближениями.
Создание пользовательского Pose Asset
Выполните следующие шаги, чтобы создать пользовательский Pose Asset для вашего персонажа, который будет использоваться с нодой Blend Runtime MetaHuman Lip Sync
:
1. Найдите Skeletal Mesh вашего персонажа
Найдите скелетный меш, содержащий морф-таргеты (блендшейпы), которые вы хотите использовать для анимации синхронизации губ. Это может быть меш всего тела или только лица, в зависимости от дизайна вашего персонажа.
2. Проверьте доступные Morph Targets
Убедитесь, что ваш скелетный меш имеет подходящие морф-таргеты, которые можно использовать в качестве визем для анимации синхронизации губ. Большинство персонажей с поддержкой лицевой анимации должны иметь некоторые морф-таргеты фонем/визем.
3. Создайте Reference Pose Animation
- Перейдите в
Create Asset -> Create Animation -> Reference Pose
- Введите описательное имя для анимационной последовательности и сохраните её в подходящем месте
- Созданная Animation Sequence откроется автоматически, показыва я пустую анимацию, воспроизводимую в цикле
- Нажмите кнопку
Pause
, чтобы остановить воспроизведение анимации для удобства редактирования
4. Редактирование Animation Sequence
- Нажмите
Edit in Sequencer
->Edit with FK Control Rig
- В диалоговом окне
Bake to Control Rig
нажмите кнопкуBake to Control Rig
, не изменяя никаких настроек
- Редактор переключится в
Animation Mode
с открытой вкладкойSequencer
- Установите
View Range End Time
на 0016 (что автоматически установитWorking Range End
также на 0016) - Перетащите правый край слайдера в правый конец окна секвенсора
5. Подготовка анимационных кривых
- Вернитесь к ассету Animation Sequence и найдите морф-таргеты в списке
Curves
(если они не видны, закройте и снова откройте ассет Animation Sequence) - Удалите все морф-таргеты, которые не относятся к виземам или движениям рта, которые вы хотите использовать для Lip Sync
6. Планирование соответствия виземов
Создайте план соответствия виземов вашего персонажа требуемому набору плагина. Например:
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
Обратите внимание, что допустимо иметь повторяющиеся соответствия, когда набор визем вашего персонажа не имеет точных совпадений для каждой требуемой виземы.
7. Анимация каждой виземы
- Для каждой виземы анимируйте соответствующие кривые морф-таргетов от 0.0 до 1.0
- Начинайте анимацию каждой виземы на отдельном кадре
- Настройте дополнительные кривые по мере необходимости (открытие челюсти/рта, положение языка и т.д.) для создания естественных форм визем