Aperçu
Runtime MetaHuman Lip Sync est un plugin qui permet une synchronisation labiale en temps réel, hors ligne et multiplateforme pour les personnages MetaHuman et personnalisés. Il vous permet d'animer les lèvres d'un personnage en réponse à une entrée audio provenant de diverses sources, notamment :
- Entrée microphone via Runtime Audio Importer's capturable sound wave
- Voix synthétisée depuis Runtime Text To Speech ou Runtime AI Chatbot Integrator
- Toute donnée audio au format PCM float (un tableau d'échantillons en virgule flottante)
Le plugin génère en interne des visèmes (représentations visuelles des phonèmes) basés sur l'entrée audio. Comme il fonctionne directement avec des données audio plutôt qu'avec du texte, le plugin prend en charge les entrées multilingues incluant mais sans s'y limiter l'anglais, l'espagnol, le français, l'allemand, le japonais, le chinois, le coréen, le russe, l'italien, le portugais, l'arabe et l'hindi. Littéralement toutes les langues sont prises en charge car la synchronisation labiale est générée à partir des phonèmes audio plutôt que d'un traitement de texte spécifique à une langue.
Le Modèle Standard produit 14 visèmes et effectue l'animation de synchronisation labiale en utilisant un asset de pose prédéfini. En revanche, le Modèle Réaliste (exclusif aux personnages MetaHuman) génère 250 changements de morph target sans s'appuyer sur un asset de pose prédéfini, ce qui donne des animations faciales nettement plus réalistes.
Compatibilité des Personnages
Malgré son nom, Runtime MetaHuman Lip Sync fonctionne avec une large gamme de personnages au-delà des MetaHumans :
Systèmes de Personnages Commerciaux Populaires
- Personnages Daz Genesis 8/9
- Personnages Reallusion Character Creator 3/4 (CC3/CC4)
- Personnages Mixamo
- Avatars ReadyPlayerMe
Support des Standards d'Animation
- Systèmes de blendshapes basés sur FACS
- Standard de blendshape Apple ARKit
- Ensembles de phonèmes Preston Blair
- Systèmes de phonèmes 3ds Max
- Tout personnage avec des morph targets personnalisés pour les expressions faciales
Pour des instructions détaillées sur l'utilisation du plugin avec des personnages non MetaHuman, consultez le Guide de Configuration des Personnages Personnalisés.
Aperçu de l'Animation
Regardez ces courtes animations pour voir la qualité de la synchronisation labiale produite par le plugin sur différents types de personnages et modèles :




Fonctionnalités clés
- Synchronisation labiale en temps réel à partir de l'entrée microphone
- Prise en charge du traitement audio hors ligne
- Compatibilité multiplateforme : Windows, Android, Meta Quest
- Prise en charge de plusieurs systèmes de personnages et standards d'animation
- Mappage flexible des visèmes pour les personnages personnalisés
- Prise en charge universelle des langues - fonctionne avec n'importe quelle langue parlée via l'analyse audio
Modèles de synchronisation labiale
Le plugin propose deux modèles de synchronisation labiale pour répondre aux différents besoins des projets :
- Modèle Standard
- Modèle Réaliste
Le modèle standard de synchronisation labiale offre des performances efficaces et multiplateformes avec une large compatibilité des personnages :
- Fonctionne avec les MetaHumans et tous les types de personnages personnalisés
- Optimisé pour des performances en temps réel sur toutes les plateformes
- Exigences en ressources plus faibles
- Compatibilité totale avec la TTS locale (plugin Runtime Text To Speech)
- Adapté aux applications mobiles et VR/AR
Pour utiliser le Modèle Standard (Plus Rapide), vous devez installer une extension plugin supplémentaire. Voir la section Prérequis pour les instructions d'installation.
Le modèle réaliste de synchronisation labiale offre une fidélité visuelle améliorée spécifiquement pour les personnages MetaHuman :
- Exclusif aux MetaHumans avec une animation faciale avancée
- Qualité visuelle supérieure avec des mouvements de bouche plus naturels
- Exigences de performances légèrement plus élevées
- Prise en charge limitée de la TTS locale (services TTS externes recommandés)
- Idéal pour les expériences cinématiques et les interactions rapprochées avec les personnages
Le Modèle Réaliste est inclus dans le plugin principal et ne nécessite aucune extension supplémentaire.
Vous pouvez choisir le modèle approprié en fonction des exigences de votre projet en termes de performances, de compatibilité des personnages et de qualité visuelle.
Bien que les deux modèles prennent en charge diverses méthodes d'entrée audio, le modèle réaliste a une compatibilité limitée avec la TTS locale en raison de conflits avec le runtime ONNX. Pour les fonctionnalités de synthèse vocale avec le modèle réaliste, les services TTS externes (OpenAI, ElevenLabs) sont recommandés.
Fonctionnement
Le plugin traite l'entrée audio de la manière suivante :
- Les données audio sont reçues au format PCM en float avec des canaux et un taux d'échantillonnage spécifiés
- Le plugin traite l'audio pour générer des visèmes (phonèmes)
- Ces visèmes animent la synchronisation labiale en utilisant l'asset de pose du personnage
- L'animation est appliquée au personnage en temps réel
Démarrage Rapide
Voici une configuration de base pour activer la synchronisation labiale sur votre personnage :
- Pour les personnages MetaHuman, suivez le Guide de configuration MetaHuman
- Pour les personnages personnalisés, suivez le Guide de configuration des personnages personnalisés
- Configurez le traitement de l'entrée audio (par exemple dans le Event Graph)
- Connectez le nœud Blend Runtime MetaHuman Lip Sync dans l'Anim Graph
- Jouez l'audio et voyez votre personnage parler !
Ressources supplémentaires
📦 Téléchargements & Liens
- Obtenez-le sur Fab
- Site web du produit
- Télécharger la démo (Windows)
- Télécharger les fichiers sources de la démo (UE 5.6) – Requiert ce plugin + Runtime Audio Importer, optionnel : Text To Speech / AI Chatbot. Le modèle standard nécessite une petite extension de plugin (voir ici)
🎥 Tutoriels vidéo
Démo vedette :
Tutoriels pour le modèle réaliste (haute qualité) :
- Lip Sync haute qualité avec ElevenLabs & OpenAI TTS ⭐ NOUVEAU
- Lip Sync en direct par microphone de haute qualité ⭐ NOUVEAU
Tutoriels pour le modèle standard :
- Lip Sync en direct par microphone standard
- Lip Sync standard avec synthèse vocale locale
- Lip Sync standard avec ElevenLabs & OpenAI TTS
Configuration générale :
💬 Support
- Serveur Discord d'assistance
- Développement personnalisé : [email protected] (solutions sur mesure pour les équipes et organisations)