Comment utiliser le plugin
Ce guide vous explique comment configurer Runtime MetaHuman Lip Sync pour vos personnages MetaHuman.
Remarque : Runtime MetaHuman Lip Sync fonctionne avec les MetaHuman et les personnages personnalisés. Le plugin prend en charge divers types de personnages, notamment :
- Les personnages commerciaux populaires (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, etc.)
- Les personnages avec des blendshapes basés sur FACS
- Les modèles utilisant les standards de blendshape ARKit
- Les personnages avec des ensembles de phonèmes Preston Blair
- Les systèmes de phonèmes 3ds Max
- Tout personnage avec des morph targets personnalisés pour les expressions faciales
Pour des instructions détaillées sur la configuration des personnages personnalisés, y compris les références de mappage des visèmes pour tous les standards ci-dessus, consultez le Guide de configuration des personnages personnalisés.
Prérequis
Avant de commencer, assurez-vous que :
- Le plugin MetaHuman est activé dans votre projet (Remarque : À partir d'UE 5.6, cette étape n'est plus nécessaire car la fonctionnalité MetaHuman est intégrée directement dans le moteur)
- Vous avez au moins un personnage MetaHuman téléchargé et disponible dans votre projet
- Le plugin Runtime MetaHuman Lip Sync est installé
Plugin d'extension de modèle standard
Si vous prévoyez d'utiliser le Modèle Standard (Plus rapide), vous devrez installer le plugin d'extension :
- Téléchargez le Standard Lip Sync Extension plugin depuis Google Drive
- Extrayez le dossier de l'archive téléchargée dans le dossier
Plugins
de votre projet (créez ce dossier s'il n'existe pas) - Assurez-vous que votre projet est configuré comme un projet C++ (même si vous n'avez pas de code C++)
- Recompilez votre projet
- Cette extension est uniquement requise si vous souhaitez utiliser le Modèle Standard. Si vous n'avez besoin que du Modèle Réaliste, vous pouvez ignorer cette étape.
- Pour plus d'informations sur la construction manuelle des plugins, consultez le Tutoriel sur la construction des plugins
Plugins supplémentaires
- Si vous prévoyez d'utiliser la capture audio (par exemple, l'entrée microphone), installez le plugin Runtime Audio Importer.
- Si vous prévoyez d'utiliser la fonctionnalité text-to-speech avec mes plugins (vous pouvez avoir votre propre TTS personnalisé ou une autre entrée audio), alors en plus du plugin Runtime Audio Importer, installez également :
- Pour le TTS local, le plugin Runtime Text To Speech.
- Pour les fournisseurs de TTS externes (ElevenLabs, OpenAI), le plugin Runtime AI Chatbot Integrator.
Configuration spécifique à la plateforme
Configuration Android / Meta Quest
Si vous ciblez les plateformes Android ou Meta Quest et que vous rencontrez des erreurs de compilation avec ce plugin, vous devrez désactiver l'architecture Android x86_64 (x64) dans les paramètres de votre projet :
- Allez dans Edit > Project Settings
- Naviguez vers Platforms > Android
- Sous Platforms - Android, section Build, trouvez Support x86_64 [aka x64] et assurez-vous qu'il est désactivé, comme montré ci-dessous
Ceci est dû au fait que le plugin ne prend actuellement en charge que les architectures arm64-v8a et armeabi-v7a pour les plateformes Android / Meta Quest.
Processus d'installation
Étape 1 : Localiser et modifier le Blueprint d'animation faciale
- UE 5.5 et versions antérieures (ou MetaHumans Legacy dans UE 5.6+)
- Personnages MetaHuman Creator UE 5.6+
Vous devez modifier un Animation Blueprint qui sera utilisé pour les animations faciales de votre personnage MetaHuman. Le Animation Blueprint facial par défaut des MetaHumans se trouve à l'emplacement :
Content/MetaHumans/Common/Face/Face_AnimBP
Vous avez plusieurs options pour implémenter la fonctionnalité de lip sync :
- Modifier l'Asset par Défaut (Option la Plus Simple)
- Créer un Duplicata
- Utiliser un Animation Blueprint Personnalisé
Ouvrez directement le Face_AnimBP
par défaut et effectuez vos modifications. Tous les changements affecteront tous les personnages MetaHuman utilisant ce Animation Blueprint.
Note : Cette approche est pratique mais impactera tous les personnages utilisant le Animation Blueprint par défaut.
- Dupliquez
Face_AnimBP
et donnez-lui un nom descriptif - Localisez la classe Blueprint de votre personnage (par exemple, pour le personnage "Bryan", elle se trouverait à
Content/MetaHumans/Bryan/BP_Bryan
) - Ouvrez le Blueprint du personnage et trouvez le composant Face
- Modifiez la propriété Anim Class pour utiliser votre nouveau Animation Blueprint dupliqué
Note : Cette approche vous permet de personnaliser le lip sync pour des personnages spécifiques tout en laissant les autres inchangés.
Vous pouvez implémenter le mélange de lip sync dans n'importe quel Animation Blueprint ayant accès aux os faciaux requis :
- Créez ou utilisez un Animation Blueprint personnalisé existant
- Assurez-vous que votre Animation Blueprint fonctionne avec un squelette contenant les mêmes os faciaux que le
Face_Archetype_Skeleton
par défaut des MetaHumans (qui est le squelette standard utilisé pour tout personnage MetaHuman)
Note : Cette approche vous offre une flexibilité maximale pour l'intégration avec des systèmes d'animation personnalisés.
À partir d'UE 5.6, le nouveau système MetaHuman Creator a été introduit, créant des personnages sans l'asset traditionnel Face_AnimBP
. Pour ces personnages, le plugin fournit un Animation Blueprint pour le visage situé à :
Content/LipSyncData/LipSync_Face_AnimBP
Cette Animation Blueprint se trouve dans le dossier de contenu du plugin et sera écrasée à chaque mise à jour du plugin. Pour éviter de perdre vos personnalisations, il est fortement recommandé de :
- Copier cet asset dans le dossier Content de votre projet (par exemple, dans
YourProject/Content/MetaHumans/LipSync_Face_AnimBP
) - Utiliser votre version copiée dans la configuration de votre personnage
- Effectuer toutes vos modifications sur la version copiée
Cela garantit que vos configurations de lip sync persisteront à travers les mises à jour du plugin.
Utilisation de l'Animation Blueprint du visage du plugin :
- Localisez la classe Blueprint de votre personnage MetaHuman Creator
- Ouvrez le Blueprint du personnage et trouvez le composant Face
- Modifiez la propriété Anim Class pour utiliser le
LipSync_Face_AnimBP
du plugin - Continuez avec les étapes 2-4 pour configurer la fonctionnalité Runtime MetaHuman Lip Sync
Options alternatives :
- Utiliser les instructions héritées : Vous pouvez toujours suivre les instructions UE 5.5 ci-dessus si vous travaillez avec des MetaHumans hérités ou préférez le workflow traditionnel
- Créer une Animation Blueprint personnalisée : Créez votre propre Animation Blueprint qui fonctionne avec la structure du squelette MetaHuman Creator
Remarque : Si vous utilisez UE 5.6+ mais travaillez avec des MetaHumans hérités (non créés via MetaHuman Creator), utilisez plutôt les instructions de l'onglet "UE 5.5 et versions antérieures".
Important : Le mélange Runtime MetaHuman Lip Sync peut être implémenté dans n'importe quel asset Animation Blueprint ayant accès à une pose contenant les os faciaux présents dans le Face_Archetype_Skeleton
par défaut des MetaHumans. Vous n'êtes pas limité aux options ci-dessus - ce ne sont que des approches d'implémentation courantes.
Étape 2 : Configuration du graphe d'événements
Ouvrez votre Animation Blueprint du visage et basculez vers le Event Graph
. Vous devrez créer un générateur qui traitera les données audio et générera l'animation de lip sync.
- Modèle standard (plus rapide)
- Modèle réaliste (qualité supérieure)
- Ajoutez le nœud
Event Blueprint Begin Play
s'il n'existe pas déjà - Ajoutez le nœud
Create Runtime Viseme Generator
et connectez-le à l'événement Begin Play - Sauvegardez la sortie dans une variable (par exemple "VisemeGenerator") pour une utilisation dans d'autres parties du graphe
- Ajoutez le nœud
Event Blueprint Begin Play
s'il n'existe pas déjà - Ajoutez le nœud
Create Realistic MetaHuman Lip Sync Generator
et connectez-le à l'événement Begin Play - Sauvegardez la sortie dans une variable (par exemple "RealisticLipSyncGenerator") pour une utilisation dans d'autres parties du graphe
- (Optionnel) Configurez les paramètres du générateur en utilisant le paramètre Configuration
- (Optionnel) Définissez la taille du bloc de traitement sur l'objet Realistic MetaHuman Lip Sync Generator

Remarque : Le modèle réaliste est optimisé spécifiquement pour les personnages MetaHuman et n'est pas compatible avec les types de personnages personnalisés.
Options de configuration
Le nœud Create Realistic MetaHuman Lip Sync Generator
accepte un paramètre Configuration facultatif qui vous permet de personnaliser le comportement du générateur :
Type de modèle
Le paramètre Model Type détermine quelle version du modèle réaliste utiliser :
Type de modèle | Performance | Qualité visuelle | Gestion du bruit | Cas d'utilisation recommandés |
---|---|---|---|---|
Highly Optimized (Par défaut) | Performance maximale, utilisation CPU la plus faible | Bonne qualité | Peut montrer des mouvements de bouche visibles avec du bruit de fond ou des sons non vocaux | Environnements audio propres, scénarios critiques en termes de performance |
Optimized | Bonne performance, utilisation CPU modérée | Haute qualité | Meilleure stabilité avec audio bruyant | Performance et qualité équilibrées, conditions audio mixtes |
Original Unoptimized | Adapté à une utilisation en temps réel sur les CPU modernes | Qualité maximale | Plus stable avec bruit de fond et sons non vocaux | Productions de haute qualité, environnements audio bruyants, lorsque la précision maximale est nécessaire |
Paramètres de performance
Intra Op Threads : Contrôle le nombre de threads utilisés pour les opérations de traitement interne du modèle.
- 0 (Par défaut/Automatique) : Utilise la détection automatique (généralement 1/4 des cœurs CPU disponibles, maximum 4)
- 1-16 : Spécifiez manuellement le nombre de threads. Des valeurs plus élevées peuvent améliorer les performances sur les systèmes multi-cœurs mais utilisent plus de CPU
Inter Op Threads : Contrôle le nombre de threads utilisés pour l'exécution parallèle des différentes opérations du modèle.
- 0 (Par défaut/Automatique) : Utilise la détection automatique (généralement 1/8 des cœurs CPU disponibles, maximum 2)
- 1-8 : Spécifiez manuellement le nombre de threads. Généralement gardé faible pour le traitement en temps réel
Utilisation de la configuration
Pour configurer le générateur :
- Dans le nœud
Create Realistic MetaHuman Lip Sync Generator
, développez le paramètre Configuration - Définissez Model Type sur votre option préférée :
- Utilisez Highly Optimized pour les meilleures performances (recommandé pour la plupart des utilisateurs)
- Utilisez Optimized pour un équilibre entre performance et qualité
- Utilisez Original Unoptimized uniquement lorsque la qualité maximale est essentielle
- Ajustez Intra Op Threads et Inter Op Threads si nécessaire (laissez à 0 pour une détection automatique dans la plupart des cas) Recommandations de Performance :
- Pour la plupart des projets avec un audio propre, utilisez Highly Optimized pour les meilleures performances
- Si vous travaillez avec un audio contenant du bruit de fond, de la musique ou des sons non vocaux, envisagez d'utiliser les modèles Optimized ou Original Unoptimized pour une meilleure stabilité
- Le modèle Highly Optimized peut montrer des mouvements de bouche subtils lors du traitement d'audio non vocal en raison des techniques d'optimisation appliquées lors de la création du modèle
- Le modèle Original Unoptimized, bien qu'il nécessite plus de ressources CPU, reste adapté aux applications en temps réel sur du matériel moderne et fournit les résultats les plus précis avec des conditions audio difficiles
- Ne modifiez le nombre de threads que si vous rencontrez des problèmes de performance ou avez des besoins d'optimisation spécifiques
- Un nombre de threads plus élevé ne signifie pas toujours de meilleures performances - les valeurs optimales dépendent de votre matériel spécifique et des exigences de votre projet
Configuration de la Taille des Blocs de Traitement : La Processing Chunk Size détermine le nombre d'échantillons traités à chaque étape d'inférence. La valeur par défaut est 160 échantillons, ce qui correspond à 10ms d'audio à 16kHz (la fréquence d'échantillonnage de traitement interne). Vous pouvez ajuster cette valeur pour équilibrer entre la fréquence de mise à jour et l'utilisation du CPU :
- Les valeurs plus petites fournissent des mises à jour plus fréquentes mais augmentent l'utilisation du CPU
- Les valeurs plus grandes réduisent la charge CPU mais peuvent diminuer la réactivité du Lip Sync
Pour définir la Processing Chunk Size :
- Accédez à votre objet
Realistic MetaHuman Lip Sync Generator
- Localisez la propriété
Processing Chunk Size
- Définissez votre valeur souhaitée
Il est recommandé d'utiliser des valeurs qui sont des multiples de 160. Cela s'aligne avec la structure de traitement interne du modèle. Les valeurs recommandées incluent :
160
(par défaut, minimum recommandé)320
480
640
- etc.
La Processing Chunk Size par défaut de 160
échantillons correspond à 10ms d'audio à 16kHz. Utiliser des multiples de 160 maintient l'alignement avec cette unité de base, ce qui peut aider à optimiser l'efficacité du traitement et maintenir un comportement cohérent pour différentes tailles de blocs.
Pour un fonctionnement fiable et cohérent avec le Realistic Model, il est nécessaire de recréer le Realistic MetaHuman Lip Sync Generator chaque fois que vous souhaitez fournir de nouvelles données audio après une période d'inactivité. Cela est dû au comportement du runtime ONNX qui peut faire cesser le fonctionnement du lip sync lors de la réutilisation de générateurs après des périodes de silence.
Exemple de scénario : Si vous avez effectué un lip sync TTS puis arrêté, et que plus tard vous souhaitez effectuer à nouveau un lip sync avec un nouvel audio, créez un nouveau Realistic MetaHuman Lip Sync Generator au lieu de réutiliser l'existant.
Étape 3 : Configurer le traitement de l'entrée audio
Vous devez configurer une méthode pour traiter l'entrée audio. Il existe plusieurs façons de le faire selon votre source audio.
- Microphone (Temps réel)
- Microphone (Lecture)
- Text-to-Speech (Local)
- Text-to-Speech (APIs Externes)
- Depuis un fichier/tampon audio
- Streaming Audio Buffer
Cette approche effectue la synchronisation labiale en temps réel pendant que vous parlez dans le microphone :
- Modèle standard (plus rapide)
- Modèle réaliste (qualité supérieure)
- Créez une Capturable Sound Wave en utilisant Runtime Audio Importer
- Avant de commencer à capturer l'audio, liez-vous au délégué
OnPopulateAudioData
- Dans la fonction liée, appelez
ProcessAudioData
depuis votre Runtime Viseme Generator - Commencez la capture audio depuis le microphone
Le Modèle réaliste utilise le même flux de travail de traitement audio que le Modèle standard, mais avec la variable RealisticLipSyncGenerator
au lieu de VisemeGenerator
.
Dans chacun des exemples montrés pour le Modèle standard, remplacez simplement :
VisemeGenerator
par votre variableRealisticLipSyncGenerator
- Les noms de fonctions et paramètres restent identiques entre les deux modèles
Cette approche capture l'audio depuis un microphone, puis le lit avec synchronisation labiale :
- Modèle standard (plus rapide)
- Realistic (Higher Quality) Model
- Créez une Capturable Sound Wave en utilisant Runtime Audio Importer
- Commencez la capture audio depuis le microphone
- Avant de lire la capturable sound wave, liez-vous à son délégué
OnGeneratePCMData
- Dans la fonction liée, appelez
ProcessAudioData
depuis votre Runtime Viseme Generator
Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator
au lieu de VisemeGenerator
.
Dans chacun des exemples montrés pour le Modèle Standard, remplacez simplement :
VisemeGenerator
par votre variableRealisticLipSyncGenerator
- Les noms de fonctions et paramètres restent identiques entre les deux modèles
Remarque : Si vous souhaitez traiter les données audio par segments plus petits pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk
. Par exemple, diviser le taux d'échantillonnage par 150 (streaming toutes les ~6,67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.
- Regular
- Streaming
Cette approche synthétise la parole à partir de texte et effectue le lip sync :
- Standard (Faster) Model
- Realistic (Higher Quality) Model
- Utilisez Runtime Text To Speech pour générer la parole à partir de texte
- Utilisez Runtime Audio Importer pour importer l'audio synthétisé
- Avant de lire le son importé, liez-vous à son délégué
OnGeneratePCMData
- Dans la fonction liée, appelez
ProcessAudioData
depuis votre Runtime Viseme Generator
Le TTS local fourni par le plugin Runtime Text To Speech n'est actuellement pas pris en charge avec le modèle Réaliste en raison de conflits avec le runtime ONNX. Pour le text-to-speech avec le modèle Réaliste, envisagez d'utiliser des services TTS externes (comme OpenAI ou ElevenLabs via Runtime AI Chatbot Integrator) ou utilisez plutôt le modèle Standard.
Remarque : Si vous souhaitez traiter les données audio par segments plus petits pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk
. Par exemple, diviser le taux d'échantillonnage par 150 (streaming toutes les ~6,67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.
Cette approche utilise la synthèse vocale en streaming avec synchronisation labiale en temps réel :
- Standard (Modèle Plus Rapide)
- Realistic (Modèle de Meilleure Qualité)
- Utilisez Runtime Text To Speech pour générer de la parole en streaming à partir de texte
- Utilisez Runtime Audio Importer pour importer l'audio synthétisé
- Avant de lire l'onde sonore en streaming, liez-vous à son délégué
OnGeneratePCMData
- Dans la fonction liée, appelez
ProcessAudioData
depuis votre Runtime Viseme Generator
Le TTS local fourni par le plugin Runtime Text To Speech n'est actuellement pas pris en charge avec le modèle Realistic en raison de conflits avec le runtime ONNX. Pour la synthèse vocale avec le modèle Realistic, envisagez d'utiliser des services TTS externes (comme OpenAI ou ElevenLabs via Runtime AI Chatbot Integrator) ou utilisez plutôt le modèle Standard.
Remarque : Si vous souhaitez traiter les données audio par morceaux plus petits pour une synchronisation labiale plus réactive, ajustez le calcul dans la fonction SetNumSamplesPerChunk
. Par exemple, diviser la fréquence d'échantillonnage par 150 (streaming toutes les ~6,67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de synchronisation labiale plus fréquentes.
- Standard
- Streaming
Cette approche utilise le plugin Runtime AI Chatbot Integrator pour générer de la parole synthétisée à partir de services d'IA (OpenAI ou ElevenLabs) et effectuer la synchronisation labiale :
- Standard (Modèle Plus Rapide)
- Realistic (Higher Quality) Model
- Utilisez Runtime AI Chatbot Integrator pour générer de la parole à partir de texte en utilisant des APIs externes (OpenAI, ElevenLabs, etc.)
- Utilisez Runtime Audio Importer pour importer les données audio synthétisées
- Avant de lire l'onde sonore importée, liez-vous à son délégué
OnGeneratePCMData
- Dans la fonction liée, appelez
ProcessAudioData
depuis votre Runtime Viseme Generator
Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator
au lieu de VisemeGenerator
.
Dans chacun des exemples montrés pour le Modèle Standard, remplacez simplement :
VisemeGenerator
par votre variableRealisticLipSyncGenerator
- Les noms de fonctions et paramètres restent identiques entre les deux modèles
Remarque : Si vous souhaitez traiter les données audio par segments plus petits pour une synchro labiale plus réactive, ajustez le calcul dans la fonction SetNumSamplesPerChunk
. Par exemple, diviser le taux d'échantillonnage par 150 (streaming toutes les ~6,67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de synchro labiale plus fréquentes.
Cette approche utilise le plugin Runtime AI Chatbot Integrator pour générer une parole synthétisée en streaming à partir de services d'IA (OpenAI ou ElevenLabs) et effectuer la synchro labiale :
- Standard (Faster) Model
- Realistic (Higher Quality) Model
- Utilisez Runtime AI Chatbot Integrator pour vous connecter aux API TTS en streaming (comme ElevenLabs Streaming API)
- Utilisez Runtime Audio Importer pour importer les données audio synthétisées
- Avant de lire le son en streaming, liez-vous à son délégué
OnGeneratePCMData
- Dans la fonction liée, appelez
ProcessAudioData
depuis votre Runtime Viseme Generator
Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator
au lieu de VisemeGenerator
.
Dans chacun des exemples montrés pour le Modèle Standard, remplacez simplement :
VisemeGenerator
par votre variableRealisticLipSyncGenerator
- Les noms de fonctions et paramètres restent identiques entre les deux modèles
Remarque : Si vous souhaitez traiter les données audio par morceaux plus petits pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk
. Par exemple, diviser le taux d'échantillonnage par 150 (streaming toutes les ~6,67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.
Cette approche utilise des fichiers audio pré-enregistrés ou des tampons audio pour le lip sync :
- Modèle standard (plus rapide)
- Modèle réaliste (qualité supérieure)
- Utilisez Runtime Audio Importer pour importer un fichier audio depuis le disque ou la mémoire
- Avant de lire le son importé, liez-vous à son délégué
OnGeneratePCMData
- Dans la fonction liée, appelez
ProcessAudioData
depuis votre Runtime Viseme Generator - Jouez le son importé et observez l'animation de lip sync
Le Modèle réaliste utilise le même flux de travail de traitement audio que le Modèle standard, mais avec la variable RealisticLipSyncGenerator
au lieu de VisemeGenerator
.
Dans chacun des exemples montrés pour le Modèle standard, remplacez simplement :
VisemeGenerator
par votre variableRealisticLipSyncGenerator
- Les noms de fonctions et paramètres restent identiques entre les deux modèles
Remarque : Si vous souhaitez traiter les données audio par morceaux plus petits pour un lip sync plus réactif, ajustez le calcul dans la fonction SetNumSamplesPerChunk
. Par exemple, diviser le taux d'échantillonnage par 150 (streaming toutes les ~6,67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de lip sync plus fréquentes.
Pour diffuser des données audio depuis un tampon, vous avez besoin de :
- Standard (Modèle Plus Rapide)
- Realistic (Modèle de Meilleure Qualité)
- Des données audio au format PCM float (un tableau d'échantillons en virgule flottante) disponibles depuis votre source de streaming
- Le taux d'échantillonnage et le nombre de canaux
- Appelez
ProcessAudioData
depuis votre Runtime Viseme Generator avec ces paramètres au fur et à mesure que les morceaux audio deviennent disponibles
Voici un exemple de traitement de la synchronisation labiale à partir de données audio en streaming :
Remarque : Lorsque vous utilisez des sources audio en streaming, assurez-vous de gérer correctement le timing de lecture audio pour éviter une lecture déformée. Consultez la documentation Streaming Sound Wave pour plus d'informations sur la gestion appropriée du streaming audio.
Le Modèle Réaliste utilise le même flux de travail de traitement audio que le Modèle Standard, mais avec la variable RealisticLipSyncGenerator
au lieu de VisemeGenerator
.
Dans chacun des exemples montrés pour le Modèle Standard, remplacez simplement :
VisemeGenerator
par votre variableRealisticLipSyncGenerator
- Les noms de fonctions et paramètres restent identiques entre les deux modèles
Remarque : Lorsque vous utilisez des sources audio en streaming, assurez-vous de gérer correctement le timing de lecture audio pour éviter une lecture déformée. Consultez la documentation Streaming Sound Wave pour plus d'informations sur la gestion appropriée du streaming audio.
Remarque : Si vous souhaitez traiter les données audio en morceaux plus petits pour une synchronisation labiale plus réactive, ajustez le calcul dans la fonction SetNumSamplesPerChunk
. Par exemple, diviser le taux d'échantillonnage par 150 (streaming toutes les ~6,67 ms) au lieu de 100 (streaming toutes les 10 ms) fournira des mises à jour de synchronisation labiale plus fréquentes.
Étape 4 : Configuration du Anim Graph
Après avoir configuré le Event Graph, passez au Anim Graph
pour connecter le générateur à l'animation du personnage :
Lip Sync
- Modèle Standard (Plus Rapide)
- Modèle Réaliste (Qualité Supérieure)
- Localisez la pose qui contient le visage MetaHuman (généralement à partir de
Use cached pose 'Body Pose'
) - Ajoutez le nœud
Blend Runtime MetaHuman Lip Sync
- Connectez la pose à
Source Pose
du nœudBlend Runtime MetaHuman Lip Sync
- Connectez votre variable
RuntimeVisemeGenerator
à la brocheViseme Generator
- Connectez la sortie du nœud
Blend Runtime MetaHuman Lip Sync
à la brocheResult
deOutput Pose
Lorsqu'une synchronisation labiale est détectée dans l'audio, votre personnage s'anime dynamiquement en conséquence :
- Localisez la pose qui contient le visage MetaHuman (généralement à partir de
Use cached pose 'Body Pose'
) - Ajoutez le nœud
Blend Realistic MetaHuman Lip Sync
- Connectez la pose à
Source Pose
du nœudBlend Realistic MetaHuman Lip Sync
- Connectez votre variable
RealisticLipSyncGenerator
à la brocheLip Sync Generator
- Connectez la sortie du nœud
Blend Realistic MetaHuman Lip Sync
à la brocheResult
deOutput Pose
Le Modèle Réaliste offre une qualité visuelle améliorée avec des mouvements de bouche plus naturels :
Remarque : Le Modèle Réaliste est conçu exclusivement pour les personnages MetaHuman et n'est pas compatible avec les types de personnages personnalisés.
Animation de Rire
Vous pouvez également ajouter des animations de rire qui répondront dynamiquement aux rires détectés dans l'audio :
- Ajoutez le nœud
Blend Runtime MetaHuman Laughter
- Connectez votre variable
RuntimeVisemeGenerator
à la brocheViseme Generator
- Si vous utilisez déjà la synchronisation labiale :
- Connectez la sortie du nœud
Blend Runtime MetaHuman Lip Sync
àSource Pose
du nœudBlend Runtime MetaHuman Laughter
- Connectez la sortie du nœud
Blend Runtime MetaHuman Laughter
à la brocheResult
deOutput Pose
- Connectez la sortie du nœud
- Si vous utilisez uniquement le rire sans synchronisation labiale :
- Connectez votre pose source directement à
Source Pose
du nœudBlend Runtime MetaHuman Laughter
- Connectez la sortie à la broche
Result
- Connectez votre pose source directement à
Lorsqu'un rire est détecté dans l'audio, votre personnage s'anime dynamiquement en conséquence :
Combinaison avec les Animations Corporelles
Pour appliquer la synchronisation labiale et le rire parallèlement aux animations corporelles existantes sans les écraser :
- Ajoutez un nœud
Layered blend per bone
entre vos animations corporelles et la sortie finale. Assurez-vous queUse Attached Parent
est activé. - Configurez le setup des couches :
- Ajoutez 1 élément au tableau
Layer Setup
- Ajoutez 3 éléments aux
Branch Filters
pour la couche, avec lesBone Name
suivants :FACIAL_C_FacialRoot
FACIAL_C_Neck2Root
FACIAL_C_Neck1Root
- Ajoutez 1 élément au tableau
- Établissez les connexions :
- Animations existantes (comme
BodyPose
) → entréeBase Pose
- Sortie d'animation faciale (depuis les nœuds de lip sync et/ou de rire) → entrée
Blend Poses 0
- Nœud Layered blend → pose
Result
finale
- Animations existantes (comme
Pourquoi cela fonctionne : Les filtres de branche isolent les os de l'animation faciale, permettant au lip sync et au rire de se mélanger exclusivement avec les mouvements faciaux tout en préservant les animations corporelles originales. Cela correspond à la structure du rig facial MetaHuman, garantissant une intégration naturelle.
Remarque : Les fonctionnalités de lip sync et de rire sont conçues pour fonctionner de manière non destructive avec votre setup d'animation existant. Elles n'affectent que les os faciaux spécifiques nécessaires aux mouvements de la bouche, laissant intactes les autres animations faciales. Cela signifie que vous pouvez les intégrer en toute sécurité à n'importe quel moment de votre chaîne d'animation - soit avant d'autres animations faciales (permettant à ces animations de surcharger le lip sync/rire) soit après elles (laissant le lip sync/rire se mélanger par-dessus vos animations existantes). Cette flexibilité vous permet de combiner lip sync et rire avec des clignements d'yeux, des mouvements de sourcils, des expressions émotionnelles et d'autres animations faciales sans conflits.
Configuration
Configuration du Lip Sync
- Modèle Standard (Plus Rapide)
- Modèle Réaliste (Meilleure Qualité)
Le nœud Blend Runtime MetaHuman Lip Sync
possède des options de configuration dans son panneau de propriétés :
Propriété | Par défaut | Description |
---|---|---|
Vitesse d'interpolation | 25 | Contrôle la rapidité des transitions entre les visèmes. Des valeurs plus élevées entraînent des transitions plus rapides et plus abruptes. |
Temps de réinitialisation | 0.2 | La durée en secondes après laquelle le lip sync est réinitialisé. Utile pour empêcher la continuation du lip sync après l'arrêt de l'audio. |
Le nœud Blend Realistic MetaHuman Lip Sync
possède des options de configuration dans son panneau de propriétés :
Propriété | Par défaut | Description |
---|---|---|
Vitesse d'interpolation | 30 | Contrôle la rapidité des transitions entre les positions. Des valeurs plus élevées entraînent des transitions plus rapides et plus abruptes. |
Temps de réinitialisation | 0.2 | La durée en secondes après laquelle le lip sync est réinitialisé. Utile pour empêcher la continuation du lip sync après l'arrêt de l'audio. |
Configuration du Rire
Le nœud Blend Runtime MetaHuman Laughter
possède ses propres options de configuration :
Propriété | Par défaut | Description |
---|---|---|
Vitesse d'interpolation | 25 | Contrôle la rapidité des transitions entre les animations de rire. Des valeurs plus élevées entraînent des transitions plus rapides et plus abruptes. |
Temps de réinitialisation | 0.2 | La durée en secondes après laquelle le rire est réinitialisé. Utile pour empêcher que le rire ne continue après l'arrêt de l'audio. |
Poids maximal du rire | 0.7 | Échelonne l'intensité maximale de l'animation de rire (0.0 - 1.0). |
Choix entre les modèles de Lip Sync
Lorsque vous décidez quel modèle de Lip Sync utiliser pour votre projet, prenez en compte ces facteurs :
Considération | Modèle Standard | Modèle Réaliste |
---|---|---|
Compatibilité des personnages | MetaHumans et tous les types de personnages personnalisés | MetaHumans uniquement |
Qualité visuelle | Bon Lip Sync avec des performances efficaces | Réalisme amélioré avec des mouvements de bouche plus naturels |
Performances | Optimisé pour toutes les plateformes y compris mobile/VR | Ressources légèrement plus élevées requises |
Cas d'utilisation | Applications générales, jeux, VR/AR, mobile | Expériences cinématiques, interactions rapprochées avec les personnages |
Compatibilité des versions du moteur
Si vous utilisez Unreal Engine 5.2, le Modèle Réaliste peut ne pas fonctionner correctement en raison d'un bug dans la bibliothèque de rééchantillonnage d'UE. Pour les utilisateurs d'UE 5.2 ayant besoin d'une fonctionnalité de Lip Sync fiable, veuillez utiliser le Modèle Standard à la place.
Ce problème est spécifique à UE 5.2 et n'affecte pas les autres versions du moteur.
Pour la plupart des projets, le Modèle Standard offre un excellent équilibre entre qualité et performances tout en prenant en charge le plus large éventail de types de personnages. Le Modèle Réaliste est idéal lorsque vous avez besoin de la plus haute fidélité visuelle spécifiquement pour les personnages MetaHuman dans des contextes où la surcharge de performances est moins critique.