Comment utiliser le plugin avec des personnages personnalisés
Ce guide vous explique comment configurer Runtime MetaHuman Lip Sync pour des personnages non-MetaHuman. Ce processus nécessite une familiarité avec les concepts d'animation et de rigging. Si vous avez besoin d'aide pour implémenter cela pour votre personnage spécifique, vous pouvez contacter le support professionnel à [email protected].
Note importante sur les modèles Lip Sync
Les personnages personnalisés sont uniquement pris en charge avec le modèle Standard (Plus rapide).
Le modèle Réaliste (Meilleure qualité) est conçu exclusivement pour les personnages MetaHuman et ne peut pas être utilisé avec des personnages personnalisés. Tout au long de ce guide, vous devez suivre les instructions du modèle Standard du guide de configuration principal lorsque référencé.
Extension Plugin Requise: Pour utiliser le Modèle Standard avec des personnages personnalisés, vous devez installer le plugin d'extension Standard Lip Sync comme décrit dans la section Prérequis du guide de configuration principal.
Cette extension est requise pour toutes les implémentations de personnages personnalisés décrites dans ce guide.
Prérequis
Avant de commencer, assurez-vous que votre personnage répond à ces exigences:
- Possède un squelette valide
- Contient des morph targets (blend shapes) pour les expressions faciales
- Idéalement possède 10+ morph targets définissant des visèmes (plus de visèmes = meilleure qualité de lip sync)
Le plugin nécessite de mapper les morph targets de votre personnage aux visèmes standards suivants:
Sil -> Silence
PP -> Bilabial plosives (p, b, m)
FF -> Labiodental fricatives (f, v)
TH -> Dental fricatives (th)
DD -> Alveolar plosives (t, d)
KK -> Velar plosives (k, g)
CH -> Postalveolar affricates (ch, j)
SS -> Sibilants (s, z)
NN -> Nasal (n)
RR -> Approximant (r)
AA -> Open vowel (aa)
E -> Mid vowel (e)
IH -> Close front vowel (ih)
OH -> Close-mid back vowel (oh)
OU -> Close back vowel (ou)
Remarque : Si votre personnage possède un ensemble différent de visèmes (ce qui est probable), vous n'avez pas besoin de correspondances exactes pour chaque visème. Des approximations sont souvent suffisantes—par exemple, associer le visème SH
de votre personnage au visème CH
du plugin fonctionnerait efficacement car ce sont des sons postalvéolaires proches.
Référence de mappage des visèmes
Voici les correspondances entre les systèmes de visèmes courants et les visèmes requis par le plugin :
- Apple ARKit
- Systèmes basés sur FACS
- Système Preston Blair
- Système de Phonèmes 3ds Max
- Personnages Personnalisés (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe)
ARKit fournit un ensemble complet de blendshapes pour l'animation faciale, incluant plusieurs formes de bouche. Voici comment les mapper aux visèmes de RuntimeMetaHumanLipSync :
Visème RuntimeMetaHumanLipSync | Équivalent ARKit | Notes |
---|---|---|
Sil | mouthClose | La position neutre/repos |
PP | mouthPressLeft + mouthPressRight | Pour les sons bilabiaux, utilisez les deux formes de pression ensemble |
FF | lowerLipBiteLeft + lowerLipBiteRight | Celles-ci créent le contact lèvre-dents pour "f/v" |
TH | tongueOut | ARKit offre un contrôle direct de la langue |
DD | jawOpen (léger) + tongueUp | Combinez une légère ouverture de mâchoire avec la position de la langue |
KK | mouthLeft ou mouthRight (léger) | Une légère traction du coin de la bouche approche les sons vélaires |
CH | jawOpen (léger) + mouthFunnel (léger) | Combinez pour les sons postalvéolaires |
SS | mouthFrown | Utilisez un léger froncement pour les sibilantes |
NN | jawOpen (très léger) + mouthClose | Bouche presque fermée avec une légère ouverture de mâchoire |
RR | mouthPucker (léger) | Un léger arrondi pour les sons en "r" |
AA | jawOpen + mouthOpen | Combiné pour les sons voyelles largement ouverts |
E | jawOpen (léger) + mouthSmile | Position mi-ouverte avec un léger sourire |
IH | mouthSmile (léger) | Léger écartement des lèvres |
OH | mouthFunnel | Forme arrondie ouverte |
OU | mouthPucker | Lèvres étroitement arrondies |
FACS (Facial Action Coding System) utilise des Unités d'Action (AUs) pour décrire les mouvements faciaux. De nombreux systèmes d'animation professionnels utilisent des approches basées sur FACS :
Visème RuntimeMetaHumanLipSync | Unités d'Action FACS | Notes |
---|---|---|
Sil | Neutre | Aucune AU active |
PP | AU23 + AU24 | Presseur de lèvres + serreur de lèvres |
FF | AU22 + AU28 | Forme en entonnoir des lèvres + succion des lèvres |
TH | AU25 (léger) + AU27 | Lèvres écartées + étirement de la bouche |
DD | AU25 + AU16 | Lèvres écartées + abaisseur de la lèvre inférieure |
KK | AU26 + AU14 | Chute de mâchoire + fossette |
CH | AU18 + AU25 | Pincement des lèvres + lèvres écartées |
SS | AU20 | Étireur de lèvres |
NN | AU25 (très léger) | Léger écartement des lèvres |
RR | AU18 (léger) | Léger pincement des lèvres |
AA | AU27 + AU26 | Étirement de la bouche + chute de mâchoire |
E | AU25 + AU12 | Lèvres écartées + tireur des coins des lèvres |
IH | AU12 + AU25 (léger) | Tireur des coins des lèvres + léger écartement des lèvres |
OH | AU27 (léger) + AU18 | Léger étirement de la bouche + pincement des lèvres |
OU | AU18 + AU26 (léger) | Pincement des lèvres + légère chute de mâchoire |
Le système Preston Blair est un standard classique d'animation qui utilise des noms descriptifs pour les formes de bouche :
RuntimeMetaHumanLipSync Viseme | Preston Blair | Notes |
---|---|---|
Sil | Rest | Position neutre de la bouche fermée |
PP | MBP | La forme classique "MBP" de la bouche |
FF | FV | La position "FV" avec les dents sur la lèvre inférieure |
TH | TH | Langue touchant les dents de devant |
DD | D/T/N | Position similaire pour ces consonnes |
KK | CKG | Position des consonnes dures |
CH | CH/J/SH | Léger mouvement des lèvres pour ces sons |
SS | S/Z | Position légèrement ouverte des dents |
NN | N/NG/L | Similaire à D/T mais avec une position différente de la langue |
RR | R | Lèvres arrondies pour le son R |
AA | AI | Bouche grande ouverte |
E | EH | Bouche moyennement ouverte |
IH | EE | Lèvres étirées |
OH | OH | Ouverture moyenne arrondie |
OU | OO | Lèvres étroitement arrondies |
3ds Max utilise un système basé sur les phonèmes pour son character studio :
RuntimeMetaHumanLipSync Viseme | Phonème 3ds Max | Notes |
---|---|---|
Sil | rest | Position par défaut de la bouche |
PP | p_b_m | Équivalent direct |
FF | f_v | Équivalent direct |
TH | th | Équivalent direct |
DD | t_d | Équivalent direct |
KK | k_g | Équivalent direct |
CH | sh_zh_ch | Forme combinée |
SS | s_z | Équivalent direct |
NN | n_l | Combiné pour ces sons |
RR | r | Équivalent direct |
AA | ah | Son de voyelle ouverte |
E | eh | Voyelle moyenne |
IH | ee | Voyelle fermée antérieure |
OH | oh | Voyelle postérieure arrondie |
OU | oo | Voyelle postérieure fermée |
Les personnages personnalisés avec des visèmes ou des morph targets/formes de bouche (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, etc.) peuvent généralement être mappés au système de visèmes du plugin avec des approximations raisonnables.
Création d'un Pose Asset personnalisé
Suivez ces étapes pour créer un pose asset personnalisé pour votre personnage qui sera utilisé avec le nœud Blend Runtime MetaHuman Lip Sync
:
1. Localisez le Skeletal Mesh de votre personnage
Trouvez le skeletal mesh qui contient les morph targets (blend shapes) que vous souhaitez utiliser pour l'animation de lip sync. Il peut s'agir d'un mesh complet ou juste d'un mesh facial, selon la conception de votre personnage.
2. Vérifiez les Morph Targets disponibles
Assurez-vous que votre skeletal mesh dispose des morph targets appropriés pouvant être utilisés comme visèmes pour l'animation de lip sync. La plupart des personnages avec support d'animation faciale devraient avoir des morph targets de phonèmes/visèmes.
3. Créez une Animation de Pose de Référence
- Allez dans
Créer un Asset -> Créer une Animation -> Reference Pose
- Entrez un nom descriptif pour la séquence d'animation et enregistrez-la à un emplacement approprié
- La séquence d'animation créée s'ouvrira automatiquement, affichant une animation vide en boucle
- Cliquez sur le bouton
Pause
pour arrêter la lecture de l'animation et faciliter l'édition
4. Modifier la séquence d'animation
- Cliquez sur
Edit in Sequencer
->Edit with FK Control Rig
- Dans la boîte de dialogue
Bake to Control Rig
, cliquez sur le boutonBake to Control Rig
sans modifier les paramètres
- L'éditeur passera en
Animation Mode
avec l'ongletSequencer
ouvert - Définissez le
View Range End Time
à 0016 (ce qui définira automatiquementWorking Range End
à 0016 également) - Faites glisser le bord droit du curseur jusqu'à l'extrémité droite de la fenêtre du séquenceur
5. Préparer les courbes d'animation
- Retournez à l'asset Animation Sequence et localisez les morph targets dans la liste
Curves
(s'ils ne sont pas visibles, fermez et rouvrez l'asset Animation Sequence) - Supprimez tous les morph targets qui ne sont pas liés aux visèmes ou aux mouvements de bouche que vous souhaitez utiliser pour le Lip Sync
6. Planifiez votre mapping de visèmes
Créez un plan de mapping pour faire correspondre les visèmes de votre personnage à l'ensemble requis par le plugin. Par exemple :
Sil -> Sil
PP -> FV
FF -> FV
TH -> TH
DD -> TD
KK -> KG
CH -> CH
SS -> SZ
NN -> NL
RR -> RR
AA -> AA
E -> E
IH -> IH
OH -> O
OU -> U
Notez qu'il est acceptable d'avoir des mappages répétés lorsque le jeu de visèmes de votre personnage ne dispose pas de correspondances exactes pour chaque visème requis.
7. Animez chaque visème
- Pour chaque visème, animez les courbes de morph target pertinentes de 0.0 à 1.0
- Démarrez chaque animation de visème sur une image différente
- Configurez des courbes supplémentaires si nécessaire (ouverture de la mâchoire/bouche, position de la langue, etc.) pour créer des formes de visèmes naturelles
8. Créer un Pose Asset
- Allez dans
Create Asset
->Pose Asset
->Current Animation
- Entrez un nom descriptif pour le Pose Asset et enregistrez-le à un emplacement approprié
- Le Pose Asset créé s'ouvrira automatiquement, affichant des poses comme
Pose_0
,Pose_1
, etc., chacune correspondant à un visème - Prévisualisez les poids des visèmes pour vous assurer qu'ils fonctionnent comme prévu
9. Finaliser le Pose Asset
- Renommez chaque pose pour qu'elle corresponde aux noms de visèmes de la section Prerequisites
- Supprimez toutes les poses inutilisées
Configuration de la gestion audio et du mélange
Une fois votre Pose Asset prêt, vous devez configurer les nœuds de gestion audio et de mélange :
- Localisez ou créez le Animation Blueprint de votre personnage
- Configurez la gestion audio et le mélange en suivant les mêmes étapes que celles documentées dans le guide de configuration standard du plugin
- Dans le nœud
Blend Runtime MetaHuman Lip Sync
, sélectionnez votre Pose Asset personnalisé au lieu du Pose Asset MetaHuman par défaut
Combinaison avec les animations corporelles
Si vous souhaitez effectuer la synchronisation labiale parallèlement à d'autres animations corporelles :
- Suivez les mêmes étapes que celles documentées dans le guide standard du plugin
- Assurez-vous de fournir les noms corrects des os du squelette du cou de votre personnage au lieu d'utiliser les noms d'os MetaHuman
Résultats
Voici des exemples de personnages personnalisés utilisant cette configuration :
La qualité de la synchronisation labiale dépend en grande partie du personnage spécifique et de la qualité de la configuration de ses visèmes. Les exemples ci-dessus démontrent le fonctionnement du plugin avec différents types de personnages personnalisés dotés de systèmes de visèmes distincts.