Guide d'installation

Ce guide vous accompagne dans le processus d'installation de base de Runtime MetaHuman Lip Sync avec vos personnages MetaHuman.

Note : Runtime MetaHuman Lip Sync fonctionne à la fois avec les MetaHuman et les personnages personnalisés. Pour des instructions détaillées sur la configuration des personnages personnalisés, consultez le Guide de configuration des personnages personnalisés.

Prérequis

Avant de commencer, assurez-vous que :

1. Le plugin MetaHuman est activé dans votre projet (Remarque : À partir de l'UE 5.6, cette étape n'est plus nécessaire car la fonctionnalité MetaHuman est intégrée directement dans le moteur)
2. Vous avez au moins un personnage MetaHuman téléchargé et disponible dans votre projet
3. Le plugin Runtime MetaHuman Lip Sync est installé

Plugin d'extension du modèle standard

Si vous prévoyez d'utiliser le Modèle Standard, vous devrez installer le plugin d'extension :

1. Téléchargez le plugin Standard Lip Sync Extension depuis Google Drive
2. Extrayez le dossier de l'archive téléchargée dans le dossier Plugins de votre projet (créez ce dossier s'il n'existe pas)
3. Assurez-vous que votre projet est configuré comme un projet C++ (même si vous n'avez pas de code C++)
4. Recompilez votre projet

remarque

• Cette extension est uniquement requise si vous souhaitez utiliser le Modèle Standard. Si vous n'avez besoin que des Modèles Réalistes, vous pouvez ignorer cette étape.
• Pour plus d'informations sur la façon de construire des plugins manuellement, consultez le tutoriel Building Plugins

Plugins supplémentaires

• Si vous prévoyez d'utiliser la capture audio (par exemple, entrée microphone), installez le plugin Runtime Audio Importer.
• Si vous prévoyez d'utiliser la fonctionnalité synthèse vocale :
  • Pour la synthèse vocale locale (Modèle Standard uniquement), installez le plugin Runtime Text To Speech.
  • Pour les fournisseurs de synthèse vocale externes (ElevenLabs, OpenAI), installez le plugin Runtime AI Chatbot Integrator.

Configuration de l'Animation Blueprint

Étape 1 : Localiser et modifier le Blueprint d'animation du visage

UE 5.5 et versions antérieures (ou MetaHumans Legacy dans UE 5.6+)

Vous devez modifier un Animation Blueprint qui sera utilisé pour les animations faciales de votre personnage MetaHuman. L'Animation Blueprint facial par défaut de MetaHuman se trouve à l'emplacement :

Content/MetaHumans/Common/Face/Face_AnimBP

Vous avez plusieurs options pour implémenter la fonctionnalité de synchronisation labiale :

Edit Default Asset (Simplest Option)

Ouvrez directement l'asset par défaut Face_AnimBP et effectuez vos modifications. Tous les changements affecteront tous les personnages MetaHuman utilisant ce Animation Blueprint.

Note : Cette approche est pratique mais impactera tous les personnages utilisant le Animation Blueprint par défaut.

Create Duplicate

1. Dupliquez Face_AnimBP et donnez-lui un nom descriptif
2. Localisez la classe Blueprint de votre personnage (par exemple, pour le personnage "Bryan", elle se trouverait à Content/MetaHumans/Bryan/BP_Bryan)
3. Ouvrez le Blueprint du personnage et trouvez le composant Face
4. Modifiez la propriété Anim Class pour votre nouveau Animation Blueprint dupliqué

Note : Cette approche vous permet de personnaliser la synchronisation labiale pour des personnages spécifiques tout en laissant les autres inchangés.

Use Custom Animation Blueprint

Vous pouvez implémenter le mélange de synchronisation labiale dans n'importe quel Animation Blueprint ayant accès aux os faciaux requis :

1. Créez ou utilisez un Animation Blueprint personnalisé existant
2. Assurez-vous que votre Animation Blueprint fonctionne avec un squelette contenant les mêmes os faciaux que le Face_Archetype_Skeleton par défaut de MetaHuman

Note : Cette approche vous offre une flexibilité maximale pour l'intégration avec des systèmes d'animation personnalisés.

UE 5.6+ MetaHuman Creator Characters

À partir d'UE 5.6, le nouveau système MetaHuman Creator a été introduit. Pour ces personnages, le plugin fournit un Animation Blueprint facial situé à :

Content/LipSyncData/LipSync_Face_AnimBP

Important

Cette Animation Blueprint se trouve dans le dossier de contenu du plugin et sera écrasée à chaque mise à jour du plugin. Pour éviter de perdre vos personnalisations :

1. Copiez cet asset dans le dossier Content de votre projet (par exemple, dans YourProject/Content/MetaHumans/LipSync_Face_AnimBP)
2. Utilisez votre version copiée dans la configuration de votre personnage
3. Effectuez toutes vos modifications sur la version copiée

Utilisation de l'Animation Blueprint du visage du plugin :

1. Localisez la classe Blueprint de votre personnage MetaHuman Creator
2. Ouvrez la Blueprint du personnage et trouvez le composant Face
3. Modifiez la propriété Anim Class avec celle du plugin LipSync_Face_AnimBP
4. Poursuivez avec les étapes suivantes pour configurer la fonctionnalité Runtime MetaHuman Lip Sync

Étape 2 : Configuration du graphe d'événements

Ouvrez votre Animation Blueprint du visage et basculez vers le Event Graph. Vous devrez créer un générateur qui traitera les données audio et générera l'animation de lip sync.

Standard Model

1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
2. Ajoutez le nœud Create Runtime Viseme Generator et connectez-le à l'événement Begin Play
3. Sauvegardez la sortie dans une variable (par exemple "VisemeGenerator") pour l'utiliser dans d'autres parties du graphe

Pour les options de configuration détaillées, consultez la section Configuration du modèle standard.

Realistic Model

1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
2. Ajoutez le nœud Create Realistic MetaHuman Lip Sync Generator et connectez-le à l'événement Begin Play
3. Sauvegardez la sortie dans une variable (par exemple "RealisticMetaHumanLipSyncGenerator") pour l'utiliser dans d'autres parties du graphe
4. (Optionnel) Configurez les paramètres du générateur en utilisant le paramètre Configuration

Pour les options de configuration détaillées incluant les types de modèles, les paramètres de performance et les paramètres de traitement, consultez la section Configuration du modèle réaliste.

Mood-Enabled Realistic Model

1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
2. Ajoutez le nœud Create Realistic MetaHuman Lip Sync With Mood Generator et connectez-le à l'événement Begin Play
3. Sauvegardez la sortie dans une variable (par exemple "MoodMetaHumanLipSyncGenerator") pour l'utiliser dans d'autres parties du graphe
4. (Optionnel) Configurez les paramètres du générateur en utilisant le paramètre Configuration

Pour la configuration détaillée de l'humeur incluant types d'humeur, paramètres d'intensité, minutage de prévision et sélection du type de sortie, consultez la section Configuration du modèle avec humeur.

Étape 3 : Configuration du Graphe d'Animation

Après avoir configuré le Graphe d'Événements, basculez vers le Anim Graph pour connecter le générateur à l'animation du personnage :

Modèle Standard

1. Localisez la pose qui contient le visage MetaHuman (généralement depuis Use cached pose 'Body Pose')
2. Ajoutez le nœud Blend Runtime MetaHuman Lip Sync
3. Connectez la pose à la Source Pose du nœud Blend Runtime MetaHuman Lip Sync
4. Connectez votre variable VisemeGenerator à la broche Viseme Generator
5. Connectez la sortie du nœud Blend Runtime MetaHuman Lip Sync à la broche Result de l'Output Pose

Modèle Réaliste

1. Localisez la pose qui contient le visage MetaHuman (généralement depuis Use cached pose 'Body Pose')
2. Ajoutez le nœud Blend Realistic MetaHuman Lip Sync
3. Connectez la pose à la Source Pose du nœud Blend Realistic MetaHuman Lip Sync
4. Connectez votre variable RealisticMetaHumanLipSyncGenerator à la broche Lip Sync Generator
5. Connectez la sortie du nœud Blend Realistic MetaHuman Lip Sync à la broche Result de l'Output Pose

Modèle Réaliste avec Humeur

1. Localisez la pose qui contient le visage MetaHuman (généralement depuis Use cached pose 'Body Pose')
2. Ajoutez le nœud Blend Realistic MetaHuman Lip Sync (même nœud que le modèle réaliste standard)
3. Connectez la pose à la Source Pose du nœud Blend Realistic MetaHuman Lip Sync
4. Connectez votre variable MoodMetaHumanLipSyncGenerator à la broche Lip Sync Generator
5. Connectez la sortie du nœud Blend Realistic MetaHuman Lip Sync à la broche Result de l'Output Pose

Remarque : Le modèle avec humeur utilise le même nœud d'Animation Blueprint que le modèle réaliste standard. La fonctionnalité d'humeur est gérée en interne par le générateur.

Prochaines Étapes

Maintenant que vous avez terminé la configuration de base de l'Animation Blueprint, vous devrez configurer le traitement de l'entrée audio pour alimenter votre générateur de lip sync en données audio.

Poursuivez avec le Guide de Traitement Audio pour apprendre comment configurer différentes méthodes d'entrée audio, y compris la capture microphone, la synthèse vocale et le traitement de fichiers audio. Pour les options de configuration avancées et le réglage fin, consultez le Guide de Configuration.