Comment utiliser le plugin

Ce guide vous explique comment configurer Runtime MetaHuman Lip Sync pour vos personnages MetaHuman.

Note : Runtime MetaHuman Lip Sync fonctionne avec les MetaHuman et les personnages personnalisés. Le plugin prend en charge divers types de personnages, notamment :

• Les personnages commerciaux populaires (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, etc.)
• Les personnages avec des blendshapes basés sur FACS
• Les modèles utilisant les standards de blendshape ARKit
• Les personnages avec des ensembles de phonèmes Preston Blair
• Les systèmes de phonèmes 3ds Max
• Tout personnage avec des morph targets personnalisés pour les expressions faciales

Pour des instructions détaillées sur la configuration des personnages personnalisés, y compris les références de mappage des visèmes pour tous les standards ci-dessus, consultez le Guide de configuration des personnages personnalisés.

Prérequis

Avant de commencer, assurez-vous que :

1. Le plugin MetaHuman est activé dans votre projet (Remarque : À partir d'UE 5.6, cette étape n'est plus nécessaire car la fonctionnalité MetaHuman est intégrée directement dans le moteur)
2. Vous avez au moins un personnage MetaHuman téléchargé et disponible dans votre projet
3. Le plugin Runtime MetaHuman Lip Sync est installé

Plugins supplémentaires :

• Si vous prévoyez d'utiliser la capture audio (par exemple, l'entrée microphone), installez le plugin Runtime Audio Importer.
• Si vous prévoyez d'utiliser la fonctionnalité synthèse vocale, installez le plugin Runtime Text To Speech.

Configuration spécifique à la plateforme

Configuration Android / Meta Quest

Si vous ciblez les plateformes Android ou Meta Quest et rencontrez des erreurs de compilation avec ce plugin, vous devrez désactiver l'architecture Android x86_64 (x64) dans les paramètres de votre projet :

1. Allez dans Edit > Project Settings
2. Naviguez vers Platforms > Android
3. Sous Platforms - Android, section Build, trouvez Support x86_64 [aka x64] et assurez-vous qu'il est désactivé, comme indiqué ci-dessous

En effet, le plugin ne prend actuellement en charge que les architectures arm64-v8a et armeabi-v7a pour les plateformes Android / Meta Quest.

Processus de configuration

Étape 1 : Localiser et modifier le Blueprint d'animation faciale

UE 5.5 et versions antérieures (ou MetaHumans Legacy dans UE 5.6+)

Vous devez modifier un Animation Blueprint qui sera utilisé pour les animations faciales de votre personnage MetaHuman. Le Animation Blueprint facial par défaut des MetaHuman se trouve à l'emplacement :

Content/MetaHumans/Common/Face/Face_AnimBP

Vous avez plusieurs options pour implémenter la fonctionnalité de lip sync :

Modifier l'Asset par Défaut (Option la Plus Simple)

Ouvrez directement le Face_AnimBP par défaut et effectuez vos modifications. Tous les changements affecteront tous les personnages MetaHuman utilisant ce Animation Blueprint.

Note : Cette approche est pratique mais impactera tous les personnages utilisant le Animation Blueprint par défaut.

Créer un Duplicata

1. Dupliquez Face_AnimBP et donnez-lui un nom descriptif
2. Localisez la classe Blueprint de votre personnage (par exemple, pour le personnage "Bryan", elle se trouverait à Content/MetaHumans/Bryan/BP_Bryan)
3. Ouvrez le Blueprint du personnage et trouvez le composant Face
4. Modifiez la propriété Anim Class pour utiliser votre nouveau Animation Blueprint dupliqué

Note : Cette approche vous permet de personnaliser le lip sync pour des personnages spécifiques tout en laissant les autres inchangés.

Utiliser un Animation Blueprint Personnalisé

Vous pouvez implémenter le mélange de lip sync dans n'importe quel Animation Blueprint ayant accès aux os faciaux requis :

1. Créez ou utilisez un Animation Blueprint personnalisé existant
2. Assurez-vous que votre Animation Blueprint fonctionne avec un squelette contenant les mêmes os faciaux que le Face_Archetype_Skeleton par défaut des MetaHumans (qui est le squelette standard utilisé pour tout personnage MetaHuman)

Note : Cette approche vous offre une flexibilité maximale pour l'intégration avec des systèmes d'animation personnalisés.

Personnages du MetaHuman Creator UE 5.6+

À partir d'UE 5.6, le nouveau système MetaHuman Creator a été introduit, créant des personnages sans l'asset traditionnel Face_AnimBP. Pour ces personnages, le plugin fournit un Animation Blueprint facial situé à :

Content/LipSyncData/LipSync_Face_AnimBP

Utilisation du Blueprint d'Animation Faciale du Plugin :

1. Localisez la classe Blueprint de votre personnage MetaHuman Creator
2. Ouvrez le Blueprint du personnage et trouvez le composant Face
3. Modifiez la propriété Anim Class pour utiliser le LipSync_Face_AnimBP du plugin
4. Poursuivez avec les Étapes 2-4 pour configurer la fonctionnalité Runtime MetaHuman Lip Sync

Options Alternatives :

• Utiliser les Instructions Legacy : Vous pouvez toujours suivre les instructions UE 5.5 ci-dessus si vous travaillez avec des MetaHumans legacy ou préférez le workflow traditionnel
• Créer un Animation Blueprint Personnalisé : Créez votre propre Animation Blueprint compatible avec la structure du squelette MetaHuman Creator

Note : Si vous utilisez UE 5.6+ mais travaillez avec des MetaHumans legacy (non créés via MetaHuman Creator), utilisez plutôt les instructions de l'onglet "UE 5.5 and Earlier".

Important : Le blending Runtime MetaHuman Lip Sync peut être implémenté dans n'importe quel asset Animation Blueprint ayant accès à une pose contenant les os faciaux présents dans le Face_Archetype_Skeleton par défaut des MetaHumans. Vous n'êtes pas limité aux options ci-dessus - ce sont simplement des approches d'implémentation courantes.

Étape 2 : Configuration du Event Graph

Ouvrez votre Face Animation Blueprint et basculez vers le Event Graph. Vous devrez créer un Runtime Viseme Generator qui traitera les données audio et générera des visèmes.

1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
2. Ajoutez le nœud Create Runtime Viseme Generator et connectez-le à l'événement Begin Play
3. Sauvegardez la sortie dans une variable (ex: "VisemeGenerator") pour utilisation ailleurs dans le graphe

Étape 3 : Configuration du traitement de l'entrée audio

Vous devez configurer une méthode pour traiter l'entrée audio. Il existe plusieurs approches selon votre source audio.

Microphone (Temps réel)

Cette approche effectue le lip sync en temps réel pendant la prise de parole via microphone :

1. Créez un Capturable Sound Wave en utilisant Runtime Audio Importer
2. Avant de commencer la capture audio, liez-vous au délégué OnPopulateAudioData
3. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator
4. Lancez la capture audio depuis le microphone

Nœuds copiables.

Microphone (Playback)

Cette approche capture l'audio depuis un microphone, puis le lit avec lip sync :

1. Créez un Capturable Sound Wave en utilisant Runtime Audio Importer
2. Lancez la capture audio depuis le microphone
3. Avant de lire le capturable sound wave, liez-vous à son délégué OnGeneratePCMData
4. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator

Nœuds copiables.

Note : Si vous souhaitez traiter les données audio par plus petits chunks pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk. Par exemple, diviser le sample rate par 150 (streaming toutes les ~6.67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.

Text-to-Speech (Local)

Standard

Cette approche synthétise la parole depuis du texte et effectue le lip sync :

1. Utilisez Runtime Text To Speech pour générer la parole depuis du texte
2. Utilisez Runtime Audio Importer pour importer l'audio synthétisé
3. Avant de lire le sound wave importé, liez-vous à son délégué OnGeneratePCMData
4. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator

Nœuds copiables.

Note : Si vous souhaitez traiter les données audio par plus petits chunks pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk. Par exemple, diviser le sample rate par 150 (streaming toutes les ~6.67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.

Streaming

Cette approche utilise la synthèse text-to-speech en streaming avec lip sync en temps réel :

1. Utilisez Runtime Text To Speech pour générer de la parole en streaming depuis du texte
2. Utilisez Runtime Audio Importer pour importer l'audio synthétisé
3. Avant de lire le sound wave en streaming, liez-vous à son délégué OnGeneratePCMData
4. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator

Nœuds copiables.

Note : Si vous souhaitez traiter les données audio par plus petits chunks pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk. Par exemple, diviser le sample rate par 150 (streaming toutes les ~6.67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.

Text-to-Speech (APIs Externes)

Standard

Cette approche utilise le plugin Runtime AI Chatbot Integrator pour générer de la parole synthétisée depuis des services AI et effectuer le lip sync :

1. Utilisez Runtime AI Chatbot Integrator pour générer de la parole depuis du texte en utilisant des APIs externes (OpenAI, ElevenLabs, etc.)
2. Utilisez Runtime Audio Importer pour importer les données audio synthétisées
3. Avant de lire le sound wave importé, liez-vous à son délégué OnGeneratePCMData
4. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator

Nœuds copiables.

Note : Si vous souhaitez traiter les données audio par plus petits chunks pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk. Par exemple, diviser le sample rate par 150 (streaming toutes les ~6.67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.

Streaming

Cette approche utilise le plugin Runtime AI Chatbot Integrator pour générer de la parole synthétisée en streaming depuis des services AI et effectuer le lip sync :

1. Utilisez Runtime AI Chatbot Integrator pour vous connecter à des APIs TTS en streaming (comme ElevenLabs Streaming API)
2. Utilisez Runtime Audio Importer pour importer les données audio synthétisées
3. Avant de lire le sound wave en streaming, liez-vous à son délégué OnGeneratePCMData
4. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator

Nœuds copiables.

Note : Si vous souhaitez traiter les données audio par plus petits chunks pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk. Par exemple, diviser le sample rate par 150 (streaming toutes les ~6.67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.

Depuis Fichier/Buffer Audio

Cette approche utilise des fichiers audio pré-enregistrés ou des buffers audio pour le lip sync :

1. Utilisez Runtime Audio Importer pour importer un fichier audio depuis le disque ou la mémoire
2. Avant de lire le sound wave importé, liez-vous à son délégué OnGeneratePCMData
3. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator
4. Jouez le sound wave importé et observez l'animation de lip sync

Nœuds copiables.

Note : Si vous souhaitez traiter les données audio par plus petits chunks pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk. Par exemple, diviser le sample rate par 150 (streaming toutes les ~6.67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.

Source Audio Personnalisée

Pour une source audio personnalisée, vous avez besoin :

1. De données audio au format PCM float (un tableau d'échantillons en virgule flottante)
2. Du sample rate et du nombre de canaux
3. D'appeler ProcessAudioData depuis votre Runtime Viseme Generator avec ces paramètres

Voici un exemple de streaming audio depuis une source personnalisée :

Nœuds copiables.

Note : Si vous souhaitez traiter les données audio par plus petits chunks pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk. Par exemple, diviser le sample rate par 150 (streaming toutes les ~6.67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.

Étape 4 : Configuration de l'Anim Graph

Après avoir configuré le Event Graph, basculez vers l'Anim Graph pour connecter le viseme generator à l'animation du personnage :

Lip Sync

1. Localisez la pose contenant le visage MetaHuman (typiquement depuis Use cached pose 'Body Pose')
2. Ajoutez le nœud Blend Runtime MetaHuman Lip Sync
3. Connectez la pose au Source Pose du nœud Blend Runtime MetaHuman Lip Sync
4. Connectez votre variable RuntimeVisemeGenerator à la broche Viseme Generator
5. Connectez la sortie du nœud Blend Runtime MetaHuman Lip Sync à la broche Result du Output Pose

Lorsque du lip sync est détecté dans l'audio, votre personnage s'animera dynamiquement en conséquence :

Animation de Rire

Vous pouvez aussi ajouter des animations de rire qui répondront dynamiquement aux rires détectés dans l'audio :

1. Ajoutez le nœud Blend Runtime MetaHuman Laughter
2. Connectez votre variable RuntimeVisemeGenerator à la broche Viseme Generator
3. Si vous utilisez déjà le lip sync :
   • Connectez la sortie du nœud Blend Runtime MetaHuman Lip Sync au Source Pose du nœud Blend Runtime MetaHuman Laughter
   • Connectez la sortie du nœud Blend Runtime MetaHuman Laughter à la broche Result du Output Pose
4. Si vous utilisez uniquement le rire sans lip sync :
   • Connectez votre source pose directement au Source Pose du nœud Blend Runtime MetaHuman Laughter
   • Connectez la sortie à la broche Result

Lorsqu'un rire est détecté dans l'audio, votre personnage s'animera dynamiquement en conséquence :

Combinaison avec les Animations Corporelles

Pour appliquer le lip sync et le rire parallèlement aux animations corporelles existantes sans les écraser :

1. Ajoutez un nœud Layered blend per bone entre vos animations corporelles et la sortie finale. Assurez-vous que Use Attached Parent est activé.
2. Configurez le layer setup :
   • Ajoutez 1 item au tableau Layer Setup
   • Ajoutez 3 items aux Branch Filters pour le layer, avec les Bone Name suivants :
     • FACIAL_C_FacialRoot
     • FACIAL_C_Neck2Root
     • FACIAL_C_Neck1Root
3. Faites les connexions :
   • Animations existantes (comme BodyPose) → entrée Base Pose
   • Sortie d'animation faciale (depuis les nœuds lip sync et/ou rire) → entrée Blend Poses 0
   • Nœud layered blend → pose Result finale

Pourquoi cela fonctionne : Les branch filters isolent les os d'animation faciale, permettant au lip sync et au rire de se blender exclusivement avec les mouvements faciaux tout en préservant les animations corporelles originales. Cela correspond à la structure du rig facial MetaHuman, assurant une intégration naturelle.

Note : Les fonctionnalités lip sync et rire sont conçues pour fonctionner de manière non destructive avec votre setup d'animation existant. Elles n'affectent que les os faciaux spécifiques nécessaires aux mouvements de bouche, laissant intactes les autres animations faciales. Cela signifie que vous pouvez les intégrer en toute sécurité à n'importe quel point de votre chaîne d'animation - soit avant d'autres animations faciales (permettant à ces animations d'écraser le lip sync/rire) soit après elles (laissant le lip sync/rire se blender par-dessus vos animations existantes). Cette flexibilité vous permet de combiner lip sync et rire avec des clignements d'yeux, mouvements de sourcils, expressions émotionnelles et autres animations faciales sans conflits.

Configuration

Configuration du Lip Sync

Le nœud Blend Runtime MetaHuman Lip Sync possède des options de configuration dans son panneau de propriétés :

Propriété	Défaut	Description
Interpolation Speed	25	Contrôle la vitesse de transition entre les visèmes. Des valeurs plus élevées donnent des transitions plus rapides et abruptes.
Reset Time	0.2	Durée en secondes après laquelle le lip sync est réinitialisé. Utile pour éviter que le lip sync ne continue après l'arrêt de l'audio.

Configuration du Rire

Le nœud Blend Runtime MetaHuman Laughter possède ses propres options de configuration :

Propriété	Défaut	Description
Interpolation Speed	25	Contrôle la vitesse de transition entre les animations de rire. Des valeurs plus élevées donnent des transitions plus rapides et abruptes.
Reset Time	0.2	Durée en secondes après laquelle le rire est réinitialisé. Utile pour éviter que le rire ne continue après l'arrêt de l'audio.
Max Laughter Weight	0.7	Échelle l'intensité maximale de l'animation de rire (0.0 - 1.0).