Aller au contenu principal

Aperçu

Runtime MetaHuman Lip Sync Documentation

Runtime MetaHuman Lip Sync est un plugin qui permet une synchronisation labiale en temps réel, hors ligne et multiplateforme pour les MetaHuman ainsi que pour les personnages personnalisés. Il vous permet d'animer les lèvres d'un personnage en réponse à une entrée audio provenant de diverses sources, notamment :

Le plugin génère en interne des visèmes (représentations visuelles des phonèmes) à partir de l'entrée audio. Comme il fonctionne directement avec les données audio plutôt qu'avec du texte, le plugin prend en charge les entrées multilingues, y compris mais sans s'y limiter l'anglais, l'espagnol, le français, l'allemand, le japonais, le chinois, le coréen, le russe, l'italien, le portugais, l'arabe et l'hindi. Littéralement n'importe quelle langue est prise en charge, car la synchronisation labiale est générée à partir des phonèmes audio plutôt que d'un traitement de texte spécifique à une langue.

Le modèle standard produit 14 visèmes et réalise l'animation de synchronisation labiale à l'aide d'un pose asset prédéfini. En revanche, les modèles réalistes (exclusifs aux personnages basés sur MetaHuman et ARKit) génèrent 81 changements de contrôle facial sans dépendre d'un pose asset prédéfini, ce qui donne des animations faciales nettement plus réalistes.

Compatibilité des personnages​

Malgré son nom, Runtime MetaHuman Lip Sync fonctionne avec une large gamme de personnages au-delà des seuls MetaHumans :

  • Personnages Daz Genesis 8/9
  • Personnages Reallusion Character Creator 3/4/5 (CC3/CC4/CC5)
  • Personnages Mixamo

Prise en charge des normes d'animation​

  • Systèmes de blendshapes basés sur FACS
  • Standard de blendshapes Apple ARKit
  • Ensembles de phonèmes de Preston Blair
  • Systèmes de phonèmes 3ds Max
  • Tout personnage avec des morph targets personnalisés pour les expressions faciales

De nombreux systèmes populaires, notamment Reallusion CC4/CC5 et Daz Genesis 8.1/9, peuvent également être convertis pour utiliser les noms de blendshapes standard ARKit. Cela vous permet d'utiliser le Realistic Model pour ces personnages, avec son animation faciale de meilleure qualité, comme alternative au mappage manuel des visèmes du Standard Model. Consultez Conversion des personnages en blendshapes ARKit pour plus de détails.

Pour les personnages non-MetaHuman utilisant le Standard Model, consultez le Guide de configuration des personnages personnalisés. Pour les personnages basés sur ARKit utilisant les Realistic Models, consultez Sélection de l'ensemble de morph targets.

Aperçu de l'animation​

Découvrez ces courtes animations pour voir la qualité de l'animation de lip sync produite par le plugin sur différents types de personnages et modèles :

Modèle réaliste avec personnage MetaHuman
Modèle standard avec personnage MetaHuman
Modèle standard avec personnage personnalisé
Modèle standard avec personnage personnalisé

Fonctionnalités clés​

Modèles de synchronisation labiale​

Le plugin propose plusieurs modèles de lip sync adaptés aux différents besoins des projets :

Le modèle standard de lip sync offre des performances efficaces et multiplateformes avec une large compatibilité de personnages :

  • Fonctionne avec les MetaHumans et tous les types de personnages personnalisés
  • Optimisé pour les performances en temps réel
  • Exigences de ressources réduites
  • Prise en charge des plateformes : Windows, Android, plateformes basées sur Android (y compris Meta Quest)
Extension de plugin requise

Pour utiliser le Standard Model, vous devez installer un plugin d'extension supplémentaire. Consultez la section Prérequis pour les instructions d'installation.

Vous pouvez choisir le modèle approprié en fonction des exigences de votre projet en matière de performances, de compatibilité des personnages, de qualité visuelle, de plateforme cible et de besoins fonctionnels.

Comment ça marche​

Le plugin traite l'entrée audio de la manière suivante :

  1. Les données audio sont reçues au format PCM flottant avec les canaux et la fréquence d'échantillonnage spécifiés
  2. Le plugin traite l'audio pour générer des données de contrôle facial ou des visèmes selon le modèle
  3. Pour les modèles compatibles avec les humeurs, un contexte émotionnel est appliqué à l'animation faciale
  4. Les données d'animation pilotent les mouvements faciaux du personnage en temps réel

Architecture des performances​

Runtime MetaHuman Lip Sync utilise une inférence uniquement sur CPU pour fournir des résultats de lip sync cohérents et à faible latence, adaptés aux applications temps réel. Par défaut, le plugin effectue le traitement du lip sync toutes les 10 millisecondes (ajustable - consultez Configuration du plugin pour tous les paramètres disponibles, notamment la Taille du bloc de traitement, le nombre de threads et d'autres paramètres de performance).

Aperçu de l'architecture du modèle​

Les modèles de lip sync utilisent un réseau neuronal compact basé sur un transformer qui traite l'audio via une analyse par mel-spectrogramme. Cette architecture légère est spécifiquement conçue pour des performances en temps réel avec une inférence CPU efficace et une empreinte mémoire minimale.

Pourquoi l'inférence sur CPU ?​

Pour les petites opérations d'inférence fréquentes comme la synchronisation labiale en temps réel, le traitement CPU offre de meilleures caractéristiques de latence que le GPU. Avec une taille de lot de 1 et des intervalles d'inférence de 10 à 100 ms, la surcharge GPU liée aux transferts PCIe et aux lancements de noyaux dépasse souvent le temps de calcul réel. De plus, dans les moteurs de jeu, le GPU est déjà saturé par le rendu, les shaders et la physique, ce qui crée une contention de ressources introduisant des pics de latence imprévisibles.

Compatibilité matérielle​

Le plugin fonctionne efficacement sur la plupart des CPU de milieu de gamme et supérieurs sans nécessiter de matériel graphique dédié, offrant des performances en temps réel sur les plateformes de bureau, mobiles et VR. Pour les configurations matérielles plus faibles, vous pouvez ajuster le Type de modèle sur Semi-Optimized ou Highly Optimized, ou augmenter la Taille des blocs de traitement pour maintenir des performances en temps réel avec une réactivité légèrement réduite.

Démarrage rapide​

Voici une configuration de base pour activer la synchronisation labiale sur votre personnage :

  1. Pour les personnages MetaHuman, suivez le Guide de configuration
  2. Pour les personnages personnalisés, suivez le Guide de configuration des personnages personnalisés
  3. Choisissez et configurez votre modèle de lip sync préféré
  4. Configurez le traitement de l'entrée audio dans votre Blueprint
  5. Connectez le nœud de lip sync approprié dans l'Animation Blueprint
  6. Lisez l'audio et voyez votre personnage s'animer en synchronisation

Animation oculaire optionnelle​

Le plugin inclut également des assistants optionnels pour le clignement automatique des yeux et le suivi du regard sur les MetaHumans. Ceux-ci sont indépendants du lip sync et peuvent être utilisés seuls ou superposés à celui-ci. Voir Assistants d'animation oculaire.

Ressources supplémentaires​

📦 Téléchargements et liens​

Projets de démonstration :

Deux projets de démonstration prêts à l'emploi sont disponibles - consultez la page dédiée Projets de démonstration pour tous les détails, les téléchargements et les guides pas à pas :

Les deux démos sont multiplateformes (Windows, Mac, Linux, iOS, Android, Meta Quest) et sont livrées sous forme de builds packagés et de projets sources complets UE 5.6+.

🎥 Tutoriels vidéo​

Démos en vedette :​

Tutoriels pour modèle réaliste (haute qualité) :​

Tutoriels sur le modèle standard :​

Configuration générale :​

💬 Assistance​

  • Développement sur mesure : [email protected] (solutions adaptées pour les équipes et les organisations)
Join our Discord
online · support