Aller au contenu principal

Aperçu

Documentation Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync est un plugin permettant une synchronisation labiale en temps réel, hors ligne et multiplateforme pour les MetaHumains et les personnages personnalisés. Il vous permet d'animer les lèvres d'un personnage en réponse à une entrée audio provenant de diverses sources, notamment :

Le plugin génère en interne des visèmes (représentations visuelles des phonèmes) basés sur l'entrée audio et effectue l'animation de synchronisation labiale à l'aide d'un asset de pose prédéfini.

Compatibilité des Personnages​

Malgré son nom, Runtime MetaHuman Lip Sync fonctionne avec une large gamme de personnages au-delà des simples MetaHumains :

Systèmes de Personnages Commerciaux Populaires​

  • Personnages Daz Genesis 8/9
  • Personnages Reallusion Character Creator 3/4 (CC3/CC4)
  • Personnages Mixamo
  • Avatars ReadyPlayerMe

Support des Standards d'Animation​

  • Systèmes de blendshapes basés sur FACS
  • Standard de blendshapes Apple ARKit
  • Ensembles de phonèmes Preston Blair
  • Systèmes de phonèmes 3ds Max
  • Tout personnage avec des morph targets personnalisés pour les expressions faciales

Pour des instructions détaillées sur l'utilisation du plugin avec des personnages non-MetaHuman, consultez le Guide de Configuration des Personnages Personnalisés.

Aperçu de l'Animation​

Découvrez ces courtes animations pour voir la qualité de la synchronisation labiale produite par le plugin sur différents types de personnages et modèles :

Realistic Lip Sync Example
Modèle réaliste avec un personnage MetaHuman
Standard Lip Sync Example
Modèle standard avec un personnage MetaHuman
Custom Character Lip Sync Example
Modèle standard avec personnage personnalisé
Custom Character Lip Sync Example
Modèle standard avec personnage personnalisé

Fonctionnalités clés​

  • Synchronisation labiale en temps réel à partir de l'entrée microphone
  • Prise en charge du traitement audio hors ligne
  • Compatibilité multiplateforme : Windows, Android, Meta Quest
  • Support de multiples systèmes de personnages et standards d'animation
  • Mappage flexible des visèmes pour les personnages personnalisés

Modèles de synchronisation labiale​

Le plugin propose deux modèles de synchronisation labiale adaptés à différents besoins de projet :

Le modèle standard offre des performances efficaces et multiplateformes avec une large compatibilité de personnages :

  • Fonctionne avec les MetaHumans et tous types de personnages personnalisés
  • Optimisé pour des performances en temps réel sur toutes les plateformes
  • Exigences matérielles réduites
  • Compatibilité totale avec la TTS locale (plugin Runtime Text To Speech)
  • Adapté aux applications mobiles et VR/AR

Vous pouvez choisir le modèle approprié en fonction des exigences de votre projet en termes de performance, compatibilité des personnages et qualité visuelle.

Note sur la compatibilité TTS

Bien que les deux modèles prennent en charge diverses méthodes d'entrée audio, le modèle Réaliste a une compatibilité limitée avec la TTS locale en raison de conflits avec le runtime ONNX. Pour les fonctionnalités de synthèse vocale avec le modèle Réaliste, les services TTS externes (OpenAI, ElevenLabs) sont recommandés.

Fonctionnement​

Le plugin traite l'entrée audio de la manière suivante :

  1. Les données audio sont reçues au format PCM en float avec des canaux et un taux d'échantillonnage spécifiés
  2. Le plugin traite l'audio pour générer des visèmes (phonèmes)
  3. Ces visèmes animent la synchronisation labiale en utilisant l'asset de pose du personnage
  4. L'animation est appliquée au personnage en temps réel

Démarrage rapide​

Voici une configuration de base pour activer la synchronisation labiale sur votre personnage :

  1. Pour les personnages MetaHuman, suivez le Guide de configuration MetaHuman
  2. Pour les personnages personnalisés, suivez le Guide de configuration des personnages personnalisés
  3. Configurez le traitement de l'entrée audio (par exemple dans le Event Graph)
  4. Connectez le nœud Blend Runtime MetaHuman Lip Sync dans l'Anim Graph
  5. Jouez l'audio et voyez votre personnage parler !

Ressources supplémentaires​

📦 Téléchargements & Liens​

🎥 Tutoriels vidéo​

Démo mise en avant :​

Tutoriels du modèle réaliste (haute qualité) :​

Tutoriels du modèle standard :​

Configuration générale :​

💬 Support​