Guide d'installation

Ce guide vous accompagne dans le processus de configuration de base de Runtime MetaHuman Lip Sync avec vos personnages MetaHuman.

Remarque : Runtime MetaHuman Lip Sync fonctionne à la fois avec les MetaHuman et les personnages personnalisés. Pour des instructions détaillées sur la configuration des personnages personnalisés, consultez le Guide de configuration des personnages personnalisés.

Prérequis

Avant de commencer, assurez-vous :

1. Exigences du plugin MetaHuman :

   • UE 5.5 et versions antérieures : Activez le plugin MetaHuman dans votre projet
   • UE 5.6 et versions ultérieures : Activez le plugin MetaHuman Core Tech dans votre projet
   Plugins MetaHuman supplémentaires

   Selon la façon dont vous créez vos personnages MetaHuman, vous aurez peut-être besoin de plugins supplémentaires. Par exemple, si vous avez l'intention de créer un MetaHuman avec le nouveau système MetaHuman Creator introduit dans UE 5.6, vous devrez également activer le plugin MetaHuman Creator. Pour plus d'informations sur ce système, consultez la documentation MetaHuman Creator.

2. Vous avez au moins un personnage MetaHuman téléchargé et disponible dans votre projet

3. Le plugin Runtime MetaHuman Lip Sync est installé

Plugin d'extension du modèle standard

Si vous prévoyez d'utiliser le Modèle Standard, vous devrez installer le plugin d'extension :

1. Téléchargez le plugin Standard Lip Sync Extension depuis ici
2. Extrayez le dossier de l'archive téléchargée dans le dossier Plugins de votre projet (créez ce dossier s'il n'existe pas)
3. Assurez-vous que votre projet est configuré comme un projet C++ (même si vous n'avez aucun code C++)
4. Reconstruisez votre projet

remarque

• Cette extension est uniquement requise si vous souhaitez utiliser le Modèle Standard. Si vous n'avez besoin que des Modèles Réalistes, vous pouvez ignorer cette étape.
• Pour plus d'informations sur la façon de construire manuellement les plugins, consultez le Tutoriel de construction de plugins

Plugins supplémentaires

• Si vous prévoyez d'utiliser la capture audio (par exemple, une entrée microphone), installez le plugin Runtime Audio Importer.
• Si vous prévoyez d'utiliser la fonctionnalité synthèse vocale :
  • Pour la synthèse vocale locale (Modèle Standard et Modèle Réaliste avec Humeur), installez le plugin Runtime Text To Speech.
  • Pour les fournisseurs de synthèse vocale externes (ElevenLabs, OpenAI, Google Cloud, Azure), installez le plugin Runtime AI Chatbot Integrator.

Configuration du Blueprint d'Animation

Étape 1 : Localiser et modifier le Blueprint d’animation faciale

UE 5.5 et versions antérieures (ou MetaHumans hérités dans UE 5.6+)

Vous devez modifier un Animation Blueprint qui sera utilisé pour les animations faciales de votre personnage MetaHuman. L'Animation Blueprint par défaut du visage MetaHuman se trouve à :

Content/MetaHumans/Common/Face/Face_AnimBP

Vous avez plusieurs options pour implémenter la fonctionnalité de synchronisation labiale :

Modifier l'actif par défaut (option la plus simple)

Ouvrez directement le Face_AnimBP par défaut et effectuez vos modifications. Toute modification affectera tous les personnages MetaHuman utilisant cet Animation Blueprint.

Remarque : Cette approche est pratique mais aura un impact sur tous les personnages utilisant l'Animation Blueprint par défaut.

Créer un doublon

1. Dupliquez Face_AnimBP et donnez-lui un nom descriptif
2. Localisez la classe Blueprint de votre personnage (par exemple, pour le personnage « Bryan », elle se trouve dans Content/MetaHumans/Bryan/BP_Bryan)
3. Ouvrez le Blueprint du personnage et trouvez le composant Face
4. Modifiez la propriété Anim Class pour qu'elle pointe vers votre Animation Blueprint nouvellement dupliqué

Remarque : Cette approche vous permet de personnaliser la synchronisation labiale pour des personnages spécifiques tout en laissant les autres inchangés.

Utilisez un Animation Blueprint personnalisé

Vous pouvez implémenter le mélange de synchronisation labiale dans n'importe quel Animation Blueprint ayant accès aux os faciaux requis.

1. Créez ou utilisez un Animation Blueprint personnalisé existant
2. Assurez-vous que votre Animation Blueprint fonctionne avec un squelette contenant les mêmes os faciaux que le Face_Archetype_Skeleton du MetaHuman par défaut

Remarque : Cette approche vous offre une flexibilité maximale pour l'intégration avec des systèmes d'animation personnalisés.

Personnages MetaHuman Creator pour UE 5.6+

À partir de l'UE 5.6, le nouveau système MetaHuman Creator a été introduit. Pour ces personnages, le plugin fournit un Animation Blueprint facial situé à :

Content/LipSyncData/LipSync_Face_AnimBP

Important

Cet Animation Blueprint se trouve dans le dossier de contenu du plugin et sera écrasé à chaque mise à jour du plugin. Pour éviter de perdre vos personnalisations :

1. Copiez cet actif dans le dossier Content de votre projet (par exemple, dans YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Utilisez votre version copiée dans la configuration de votre personnage
3. Effectuez toutes vos modifications sur la version copiée

Utilisation du Blueprint d'Animation Faciale du Plugin :

1. Localisez la classe Blueprint de votre personnage MetaHuman Creator
2. Ouvrez le Blueprint du personnage et trouvez le composant Face
3. Modifiez la propriété Anim Class pour utiliser LipSync_Face_AnimBP du plugin
4. Poursuivez avec les étapes suivantes pour configurer la fonctionnalité Runtime MetaHuman Lip Sync

Étape 2 : Configuration du graphe d'événements

Ouvrez votre Face Animation Blueprint et passez au Event Graph. Vous devrez créer un générateur qui traitera les données audio et générera une animation de synchronisation labiale.

Modèle Standard

1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
2. Ajoutez le nœud Create Runtime Viseme Generator et connectez-le à l'événement Begin Play
3. Enregistrez la sortie sous forme de variable (par exemple "VisemeGenerator") pour l'utiliser dans d'autres parties du graphe

Pour les options de configuration détaillées, consultez la section Configuration du modèle standard.

Modèle réaliste

1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
2. Ajoutez le nœud Create Realistic MetaHuman Lip Sync Generator et connectez-le à l'événement Begin Play
3. Enregistrez la sortie sous forme de variable (par exemple « RealisticMetaHumanLipSyncGenerator ») pour l'utiliser dans d'autres parties du graphe
4. (Facultatif) Configurez les paramètres du générateur à l'aide du paramètre Configuration

Pour les options de configuration détaillées, y compris les types de modèles, les paramètres de performance et les paramètres de traitement, consultez la section Configuration du modèle réaliste.

Modèle réaliste avec gestion des émotions

1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
2. Ajoutez le nœud Create Realistic MetaHuman Lip Sync With Mood Generator et connectez-le à l'événement Begin Play
3. Enregistrez la sortie sous forme de variable (par exemple "MoodMetaHumanLipSyncGenerator") pour l'utiliser dans d'autres parties du graphe
4. (Facultatif) Configurez les paramètres du générateur à l'aide du paramètre Configuration

Pour une configuration détaillée de l'humeur incluant les types d'humeur, les réglages d'intensité, la temporisation de prévisualisation et la sélection du type de sortie, consultez la section Configuration du modèle avec gestion de l'humeur.

Étape 3 : Configuration du graphe d’animation

Après avoir configuré le graphe d'événements, passez au Anim Graph pour connecter le générateur à l'animation du personnage :

Modèle Standard

1. Localisez la pose qui contient le visage MetaHuman (généralement à partir de Use cached pose 'Body Pose')
2. Ajoutez le nœud Blend Runtime MetaHuman Lip Sync
3. Connectez la pose à l'entrée Source Pose du nœud Blend Runtime MetaHuman Lip Sync
4. Connectez votre variable VisemeGenerator à la broche Viseme Generator
5. Connectez la sortie du nœud Blend Runtime MetaHuman Lip Sync à la broche Result de l'Output Pose

Modèle réaliste

1. Localisez la pose qui contient le visage MetaHuman (généralement à partir de Use cached pose 'Body Pose')
2. Ajoutez le nœud Blend Realistic MetaHuman Lip Sync
3. Connectez la pose à l'entrée Source Pose du nœud Blend Realistic MetaHuman Lip Sync
4. Connectez votre variable RealisticMetaHumanLipSyncGenerator à la broche Lip Sync Generator
5. Connectez la sortie du nœud Blend Realistic MetaHuman Lip Sync à la broche Result de l'Output Pose

Modèle réaliste avec gestion des émotions

1. Localisez la pose qui contient le visage MetaHuman (généralement à partir de Use cached pose 'Body Pose')
2. Ajoutez le nœud Blend Realistic MetaHuman Lip Sync (même nœud que pour le modèle réaliste standard)
3. Connectez la pose à l'entrée Source Pose du nœud Blend Realistic MetaHuman Lip Sync
4. Connectez votre variable MoodMetaHumanLipSyncGenerator à la broche Lip Sync Generator
5. Connectez la sortie du nœud Blend Realistic MetaHuman Lip Sync à la broche Result du Output Pose

Remarque : Le modèle avec gestion de l’humeur utilise le même nœud d’Animation Blueprint que le modèle réaliste standard. La fonctionnalité d’humeur est gérée en interne par le générateur.

Prochaines étapes

Maintenant que vous avez terminé la configuration de base de l'Animation Blueprint, vous devrez configurer le traitement de l'entrée audio pour fournir des données audio à votre générateur de synchronisation labiale.

Passez au Guide de traitement audio pour apprendre à configurer différentes méthodes d'entrée audio, notamment la capture par microphone, la synthèse vocale et le traitement de fichiers audio.

Pour les options de configuration avancées et le réglage fin, consultez le Guide de configuration.