Aller au contenu principal

Comment utiliser le plugin

Ce guide vous explique comment configurer Runtime MetaHuman Lip Sync pour vos personnages MetaHuman.

Remarque : Runtime MetaHuman Lip Sync fonctionne avec les MetaHuman et les personnages personnalisés. Le plugin prend en charge divers types de personnages, notamment :

  • Les personnages commerciaux populaires (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, etc.)
  • Les personnages avec des blendshapes basés sur FACS
  • Les modèles utilisant les standards de blendshape ARKit
  • Les personnages avec des ensembles de phonèmes Preston Blair
  • Les systèmes de phonèmes 3ds Max
  • Tout personnage avec des morph targets personnalisés pour les expressions faciales

Pour des instructions détaillées sur la configuration des personnages personnalisés, y compris les références de mappage des visèmes pour tous les standards ci-dessus, consultez le Guide de configuration des personnages personnalisés.

Prérequis

Avant de commencer, assurez-vous que :

  1. Le plugin MetaHuman est activé dans votre projet (Remarque : À partir d'UE 5.6, cette étape n'est plus nécessaire car la fonctionnalité MetaHuman est intégrée directement dans le moteur)
  2. Vous avez au moins un personnage MetaHuman téléchargé et disponible dans votre projet
  3. Le plugin Runtime MetaHuman Lip Sync est installé

Plugin d'extension de modèle standard

Si vous prévoyez d'utiliser le Modèle Standard (Plus rapide), vous devrez installer le plugin d'extension :

  1. Téléchargez le Standard Lip Sync Extension plugin depuis Google Drive
  2. Extrayez le dossier de l'archive téléchargée dans le dossier Plugins de votre projet (créez ce dossier s'il n'existe pas)
  3. Assurez-vous que votre projet est configuré comme un projet C++ (même si vous n'avez pas de code C++)
  4. Recompilez votre projet
remarque
  • Cette extension est uniquement requise si vous souhaitez utiliser le Modèle Standard. Si vous n'avez besoin que du Modèle Réaliste, vous pouvez ignorer cette étape.
  • Pour plus d'informations sur la construction manuelle des plugins, consultez le tutoriel Building Plugins

Plugins supplémentaires

  • Si vous prévoyez d'utiliser la capture audio (par exemple, l'entrée microphone), installez le plugin Runtime Audio Importer.
  • Si vous prévoyez d'utiliser la fonctionnalité text-to-speech :

Configuration spécifique à la plateforme

Configuration Android / Meta Quest

Si vous ciblez les plateformes Android ou Meta Quest et que vous rencontrez des erreurs de compilation avec ce plugin, vous devrez désactiver l'architecture Android x86_64 (x64) dans les paramètres de votre projet :

  1. Allez dans Édition > Paramètres du projet
  2. Naviguez vers Plateformes > Android
  3. Sous Plateformes - Android, section Build, trouvez Support x86_64 [alias x64] et assurez-vous qu'il est désactivé, comme illustré ci-dessous

Désactiver l'architecture Android x64

Ceci est nécessaire car le plugin ne prend actuellement en charge que les architectures arm64-v8a et armeabi-v7a pour les plateformes Android / Meta Quest.

Processus d'installation

Étape 1 : Localiser et modifier le Blueprint d'animation faciale

Vous devez modifier un Animation Blueprint qui sera utilisé pour les animations faciales de votre personnage MetaHuman. Le Animation Blueprint facial par défaut des MetaHumans se trouve à l'emplacement :

Content/MetaHumans/Common/Face/Face_AnimBP

Face Animation Blueprint

Vous avez plusieurs options pour implémenter la fonctionnalité de lip sync :

Ouvrez directement le Face_AnimBP par défaut et effectuez vos modifications. Tous les changements affecteront tous les personnages MetaHuman utilisant ce Animation Blueprint.

Note : Cette approche est pratique mais impactera tous les personnages utilisant le Animation Blueprint par défaut.

Important : Le mélange Runtime MetaHuman Lip Sync peut être implémenté dans n'importe quel asset Animation Blueprint ayant accès à une pose contenant les os faciaux présents dans le Face_Archetype_Skeleton par défaut des MetaHumans. Vous n'êtes pas limité aux options ci-dessus - ce ne sont que des approches d'implémentation courantes.

Étape 2 : Configuration du graphe d'événements

Ouvrez votre Animation Blueprint du visage et basculez vers le Event Graph. Vous devrez créer un générateur qui traitera les données audio et générera l'animation de lip sync.

  1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
  2. Ajoutez le nœud Create Runtime Viseme Generator et connectez-le à l'événement Begin Play
  3. Sauvegardez la sortie dans une variable (par exemple "VisemeGenerator") pour utilisation dans d'autres parties du graphe

Création du Runtime Viseme Generator

Étape 3 : Configurer le traitement de l'entrée audio

Vous devez configurer une méthode pour traiter l'entrée audio. Il existe plusieurs façons de le faire selon votre source audio.

Cette approche effectue le lip sync en temps réel pendant que vous parlez dans le microphone :

  1. Créez un Capturable Sound Wave en utilisant Runtime Audio Importer
  2. Avant de commencer à capturer l'audio, liez-vous au délégué OnPopulateAudioData
  3. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator
  4. Commencez à capturer l'audio depuis le microphone

Nœuds copiables.

Lip Sync Pendant la Capture Audio

Étape 4 : Configuration du Anim Graph

Après avoir configuré le Event Graph, passez au Anim Graph pour connecter le générateur à l'animation du personnage :

Lip Sync

  1. Localisez la pose contenant le visage MetaHuman (typiquement depuis Use cached pose 'Body Pose')
  2. Ajoutez le noeud Blend Runtime MetaHuman Lip Sync
  3. Connectez la pose à Source Pose du noeud Blend Runtime MetaHuman Lip Sync
  4. Connectez votre variable RuntimeVisemeGenerator à la broche Viseme Generator
  5. Connectez la sortie du noeud Blend Runtime MetaHuman Lip Sync à la broche Result de Output Pose

Blend Runtime MetaHuman Lip Sync

Lorsqu'une synchronisation labiale est détectée dans l'audio, votre personnage s'animera dynamiquement en conséquence :

Lip Sync

Animation de Rire

Vous pouvez également ajouter des animations de rire qui répondront dynamiquement aux rires détectés dans l'audio :

  1. Ajoutez le nœud Blend Runtime MetaHuman Laughter
  2. Connectez votre variable RuntimeVisemeGenerator à la broche Viseme Generator
  3. Si vous utilisez déjà la synchronisation labiale :
    • Connectez la sortie du nœud Blend Runtime MetaHuman Lip Sync à la Source Pose du nœud Blend Runtime MetaHuman Laughter
    • Connectez la sortie du nœud Blend Runtime MetaHuman Laughter à la broche Result de l'Output Pose
  4. Si vous utilisez uniquement le rire sans synchronisation labiale :
    • Connectez votre pose source directement à la Source Pose du nœud Blend Runtime MetaHuman Laughter
    • Connectez la sortie à la broche Result

Blend Runtime MetaHuman Laughter

Lorsqu'un rire est détecté dans l'audio, votre personnage s'animera dynamiquement en conséquence :

Laughter

Combinaison avec les Animations Corporelles

Pour appliquer la synchronisation labiale et le rire parallèlement aux animations corporelles existantes sans les écraser :

  1. Ajoutez un nœud Layered blend per bone entre vos animations corporelles et la sortie finale. Assurez-vous que Use Attached Parent est vrai.
  2. Configurez la structure des couches :
    • Ajoutez 1 élément au tableau Layer Setup
    • Ajoutez 3 éléments aux Branch Filters pour la couche, avec les Bone Name suivants :
      • FACIAL_C_FacialRoot
      • FACIAL_C_Neck2Root
      • FACIAL_C_Neck1Root
  3. Effectuez les connexions :
    • Animations existantes (comme BodyPose) → entrée Base Pose
    • Sortie d'animation faciale (depuis les nœuds de synchronisation labiale et/ou de rire) → entrée Blend Poses 0
    • Nœud de mélange en couches → pose Result finale

Layered Blend Per Bone

Pourquoi cela fonctionne : Les filtres de branche isolent les os d'animation faciale, permettant à la synchronisation labiale et au rire de se mélanger exclusivement avec les mouvements faciaux tout en préservant les animations corporelles originales. Cela correspond à la structure du rig facial MetaHuman, garantissant une intégration naturelle.

Remarque : Les fonctionnalités de synchronisation labiale et de rire sont conçues pour fonctionner de manière non destructive avec votre configuration d'animation existante. Elles n'affectent que les os faciaux spécifiques nécessaires aux mouvements de la bouche, laissant intactes les autres animations faciales. Cela signifie que vous pouvez les intégrer en toute sécurité à n'importe quel moment de votre chaîne d'animation - soit avant d'autres animations faciales (permettant à ces animations d'écraser la synchronisation labiale/le rire) soit après elles (laissant la synchronisation labiale/le rire se mélanger par-dessus vos animations existantes). Cette flexibilité vous permet de combiner la synchronisation labiale et le rire avec des clignements d'yeux, des mouvements de sourcils, des expressions émotionnelles et d'autres animations faciales sans conflits.

Configuration

Configuration de la Synchronisation Labiale

Le nœud Blend Runtime MetaHuman Lip Sync possède des options de configuration dans son panneau de propriétés :

PropriétéPar défautDescription
Vitesse d'Interpolation25Contrôle la rapidité des transitions entre les visèmes. Des valeurs plus élevées entraînent des transitions plus rapides et plus abruptes.
Temps de Réinitialisation0.2La durée en secondes après laquelle la synchronisation labiale est réinitialisée. Utile pour empêcher la synchronisation labiale de continuer après l'arrêt de l'audio.

Configuration du Rire

Le nœud Blend Runtime MetaHuman Laughter possède ses propres options de configuration :

PropriétéPar défautDescription
Vitesse d'Interpolation25Contrôle la rapidité des transitions entre les animations de rire. Des valeurs plus élevées entraînent des transitions plus rapides et plus abruptes.
Temps de Réinitialisation0.2La durée en secondes après laquelle le rire est réinitialisé. Utile pour empêcher le rire de continuer après l'arrêt de l'audio.
Poids Maximum du Rire0.7Échelle l'intensité maximale de l'animation de rire (0.0 - 1.0).

Choix Entre les Modèles de Synchronisation Labiale

Lorsque vous décidez quel modèle de synchronisation labiale utiliser pour votre projet, prenez en compte ces facteurs :

ConsidérationModèle StandardModèle Réaliste
Compatibilité des PersonnagesMetaHumans et tous les types de personnages personnalisésMetaHumans uniquement
Qualité VisuelleBonne synchronisation labiale avec des performances efficacesRéalisme amélioré avec des mouvements de bouche plus naturels
PerformancesOptimisé pour toutes les plateformes y compris mobile/VRRessources légèrement plus élevées requises
Cas d'UtilisationApplications générales, jeux, VR/AR, mobileExpériences cinématiques, interactions rapprochées avec les personnages

Compatibilité des Versions du Moteur

Problème de Compatibilité UE 5.2

Si vous utilisez Unreal Engine 5.2, le Modèle Réaliste peut ne pas fonctionner correctement en raison d'un bug dans la bibliothèque de rééchantillonnage d'UE. Pour les utilisateurs d'UE 5.2 qui ont besoin d'une fonctionnalité de synchronisation labiale fiable, veuillez utiliser le Modèle Standard à la place.

Ce problème est spécifique à UE 5.2 et n'affecte pas les autres versions du moteur.

Pour la plupart des projets, le modèle Standard offre un excellent équilibre entre qualité et performances tout en prenant en charge la plus large gamme de types de personnages. Le modèle Réaliste est idéal lorsque vous avez besoin de la plus haute fidélité visuelle, spécifiquement pour les personnages MetaHuman, dans des contextes où la surcharge de performance est moins critique.