Aperçu
Runtime MetaHuman Lip Sync est un plugin qui permet une synchronisation labiale en temps réel, hors ligne et multiplateforme pour les personnages MetaHuman et personnalisés. Il vous permet d'animer les lèvres d'un personnage en réponse à une entrée audio provenant de diverses sources, notamment :
- Entrée microphone via Runtime Audio Importer's capturable sound wave
- Voix synthétisée depuis Runtime Text To Speech ou Runtime AI Chatbot Integrator
- Toute donnée audio au format PCM float (un tableau d'échantillons en virgule flottante)
Le plugin génère en interne des visèmes (représentations visuelles des phonèmes) basés sur l'entrée audio et effectue l'animation de synchronisation labiale à l'aide d'un asset de pose prédéfini.
Compatibilité des Personnages
Malgré son nom, Runtime MetaHuman Lip Sync fonctionne avec une large gamme de personnages au-delà des MetaHumans :
Systèmes de Personnages Commerciaux Populaires
- Personnages Daz Genesis 8/9
- Personnages Reallusion Character Creator 3/4 (CC3/CC4)
- Personnages Mixamo
- Avatars ReadyPlayerMe
Support des Standards d'Animation
- Systèmes de blendshapes basés sur FACS
- Standard de blendshapes Apple ARKit
- Ensembles de phonèmes Preston Blair
- Systèmes de phonèmes 3ds Max
- Tout personnage avec des morph targets personnalisés pour les expressions faciales
Pour des instructions détaillées sur l'utilisation du plugin avec des personnages non-MetaHuman, consultez le Guide de Configuration des Personnages Personnalisés.
Aperçu de l'Animation
Découvrez ces courtes animations pour voir la qualité de l'animation de synchronisation labiale en temps réel produite par le plugin. L'animation peut être appliquée à tout personnage supporté, qu'il s'agisse d'un MetaHuman ou d'un personnage personnalisé provenant de l'un des systèmes supportés.
Fonctionnalités clés
- Synchronisation labiale en temps réel à partir de l'entrée microphone
- Prise en charge du traitement audio hors ligne
- Compatibilité multiplateforme : Windows, Android, Meta Quest
- Prise en charge de plusieurs systèmes de personnages et standards d'animation
- Mapping flexible des visèmes pour les personnages personnalisés
Fonctionnement
Le plugin traite l'entrée audio de la manière suivante :
- Les données audio sont reçues au format PCM en float avec des canaux et un taux d'échantillonnage spécifiés
- Le plugin traite l'audio pour générer des visèmes (phonèmes)
- Ces visèmes animent la synchronisation labiale en utilisant l'asset de pose du personnage
- L'animation est appliquée au personnage en temps réel
Démarrage rapide
Voici une configuration de base pour activer la synchronisation labiale sur votre personnage :
- Pour les personnages MetaHuman, suivez le Guide de configuration MetaHuman
- Pour les personnages personnalisés, suivez le Guide de configuration des personnages personnalisés
- Configurez le traitement de l'entrée audio (par exemple dans l'Event Graph)
- Connectez le nœud Blend Runtime MetaHuman Lip Sync dans l'Anim Graph
- Jouez l'audio et voyez votre personnage parler !
Ressources supplémentaires
- Obtenez-le sur Fab
- Site web du produit
- Télécharger la démo (Windows)
- Télécharger les fichiers sources de la démo (UE 5.5)
- Serveur Discord d'assistance
- Tutoriel vidéo
- Présentation vidéo du projet de démo
- Synchronisation labiale en temps réel avec microphone pour UE 5.6+
- Synchronisation labiale en temps réel avec synthèse vocale locale dans UE 5.6+
- Synchronisation labiale en temps réel avec ElevenLabs & OpenAI TTS dans UE 5.6+
- Développement personnalisé : [email protected] (solutions sur mesure pour les équipes et organisations)