Aller au contenu principal

Aperçu

Documentation Runtime MetaHuman Lip Sync

Runtime MetaHuman Lip Sync est un plugin qui permet la synchronisation labiale en temps réel, hors ligne et multiplateforme pour les personnages MetaHuman et les personnages personnalisés. Il vous permet d'animer les lèvres d'un personnage en réponse à une entrée audio provenant de diverses sources, notamment :

Le plugin génère en interne des visèmes (représentations visuelles des phonèmes) basés sur l'entrée audio. Comme il fonctionne directement avec les données audio plutôt qu'avec du texte, le plugin prend en charge l'entrée multilingue, y compris, mais sans s'y limiter, l'anglais, l'espagnol, le français, l'allemand, le japonais, le chinois, le coréen, le russe, l'italien, le portugais, l'arabe et le hindi. Littéralement, toute langue est prise en charge car la synchronisation labiale est générée à partir des phonèmes audio plutôt qu'à partir d'un traitement de texte spécifique à une langue.

Le Modèle Standard produit 14 visèmes et effectue l'animation de synchronisation labiale en utilisant un asset de pose prédéfini. En revanche, les Modèles Réalistes (exclusifs aux personnages MetaHuman) génèrent 81 changements de contrôle facial sans s'appuyer sur un asset de pose prédéfini, ce qui donne des animations faciales nettement plus réalistes.

Compatibilité des Personnages​

Malgré son nom, Runtime MetaHuman Lip Sync fonctionne avec un large éventail de personnages au-delà des simples MetaHumans :

Systèmes de Personnages Commerciaux Populaires​

  • Personnages Daz Genesis 8/9
  • Personnages Reallusion Character Creator 3/4 (CC3/CC4)
  • Personnages Mixamo
  • Avatars ReadyPlayerMe

Prise en charge des Normes d'Animation​

  • Systèmes de blendshapes basés sur FACS
  • Norme de blendshapes Apple ARKit
  • Ensembles de phonèmes Preston Blair
  • Systèmes de phonèmes 3ds Max
  • Tout personnage avec des morph targets personnalisés pour les expressions faciales

Pour des instructions détaillées sur l'utilisation du plugin avec des personnages non MetaHuman, consultez le Guide de Configuration des Personnages Personnalisés.

Aperçu de l'Animation​

Regardez ces courtes animations pour voir la qualité de l'animation de synchronisation labiale produite par le plugin sur différents types de personnages et modèles :

Realistic Lip Sync Example
Modèle réaliste avec un personnage MetaHuman
Standard Lip Sync Example
Modèle standard avec un personnage MetaHuman
Custom Character Lip Sync Example
Modèle standard avec personnage personnalisé
Custom Character Lip Sync Example
Modèle standard avec personnage personnalisé

Fonctionnalités Clés​

  • Synchronisation labiale en temps réel à partir de l'entrée microphone
  • Prise en charge du traitement audio hors ligne
  • Compatibilité multiplateforme avec support spécifique à la plateforme du modèle
  • Prise en charge de multiples systèmes de personnages et standards d'animation
  • Mappage de visèmes flexible pour les personnages personnalisés
  • Support universel des langues - fonctionne avec toute langue parlée via l'analyse audio
  • Animation faciale sensible à l'humeur pour une expressivité accrue
  • Types de sortie configurables (contrôles du visage complet ou de la bouche uniquement)

Modèles de Synchronisation Labiale​

Le plugin propose plusieurs modèles de synchronisation labiale pour répondre aux différents besoins du projet :

Le modèle de synchronisation labiale standard offre des performances efficaces et multiplateformes avec une large compatibilité des personnages :

  • Fonctionne avec les MetaHumans et tous les types de personnages personnalisés
  • Optimisé pour les performances en temps réel
  • Exigences en ressources plus faibles
  • Compatibilité totale avec la TTS locale (plugin Runtime Text To Speech)
  • Support des Plateformes : Windows, Android, plateformes basées sur Android (y compris Meta Quest)
  • Trois niveaux d'optimisation : Original, Semi-Optimisé et Hautement Optimisé
Extension Plugin Requise

Pour utiliser le Modèle Standard, vous devez installer un plugin d'extension supplémentaire. Voir la section Prérequis pour les instructions d'installation.

Vous pouvez choisir le modèle approprié en fonction des exigences de votre projet en matière de performance, de compatibilité des personnages, de qualité visuelle, de plateforme cible et de besoins fonctionnels.

Note sur la Compatibilité TTS

Bien que tous les modèles prennent en charge diverses méthodes d'entrée audio, le modèle Réaliste standard a une compatibilité limitée avec la TTS locale en raison de conflits du runtime ONNX. Le modèle Réaliste avec Émotions, cependant, est entièrement compatible avec la TTS locale. Pour la fonctionnalité de synthèse vocale :

  • Modèle Standard : Compatible avec toutes les options TTS (locale et externe)
  • Modèle Réaliste : Services TTS externes recommandés (OpenAI, ElevenLabs)
  • Modèle Réaliste avec Émotions : Compatible avec toutes les options TTS (locale et externe)

Fonctionnement​

Le plugin traite l'entrée audio de la manière suivante :

  1. Les données audio sont reçues au format PCM en virgule flottante avec des canaux et une fréquence d'échantillonnage spécifiés
  2. Le plugin traite l'audio pour générer des données de contrôle facial ou des visèmes selon le modèle
  3. Pour les modèles avec émotions, le contexte émotionnel est appliqué à l'animation faciale
  4. Les données d'animation animent les mouvements du visage du personnage en temps réel

Démarrage Rapide​

Voici une configuration de base pour activer la synchronisation labiale sur votre personnage :

  1. Pour les personnages MetaHuman, suivez le Guide de Configuration
  2. Pour les personnages personnalisés, suivez le Guide de Configuration pour Personnages Personnalisés
  3. Choisissez et configurez votre modèle de synchronisation labiale préféré
  4. Configurez le traitement de l'entrée audio dans votre Blueprint
  5. Connectez le nœud de synchronisation labiale approprié dans l'Animation Blueprint
  6. Jouez l'audio et voyez votre personnage parler avec émotion !

Ressources Supplémentaires​

📦 Téléchargements & Liens​

🎥 Tutoriels Vidéo​

Démo en Vedette :​

Tutoriels Modèle Réaliste (Haute Qualité) :​

Tutoriels Modèle Standard :​

Configuration Générale :​

💬 Support​