Runtime MetaHuman Lip Sync
Documentation pour le plugin Runtime MetaHuman Lip Sync.
Téléchargements et liens
Projets de démonstration :
Deux projets de démonstration prêts à l’emploi sont disponibles - consultez la page dédiée Projets de démonstration pour tous les détails, téléchargements et tutoriels :
- Flux de travail complet pour PNJ conversationnel IA - reconnaissance vocale + chatbot LLM + TTS + synchronisation labiale
- Démo de synchronisation labiale de base - entrée microphone, fichiers audio, TTS
Les deux démos sont multiplateformes (Windows, Mac, Linux, iOS, Android, Meta Quest) et sont fournies sous forme de builds packagés et de projets source complets UE 5.6+.
Tutoriels vidéo
Démos en vedette
Tutoriels sur le modèle réaliste (haute qualité)
- Synchronisation labiale haute qualité à partir d'un fichier/tampon audio
- Synchronisation labiale haute qualité avec contrôle de l'humeur et TTS local
- Synchronisation labiale haute qualité avec ElevenLabs et TTS OpenAI
- Synchronisation labiale haute qualité en direct depuis un microphone
- Synchronisation labiale haute qualité pour les personnages ARKit
Tutoriels du modèle standard
- Synchronisation labiale standard avec microphone en direct
- Synchronisation labiale standard avec synthèse vocale locale
- Synchronisation labiale standard avec ElevenLabs et synthèse vocale OpenAI
Configuration générale
- Ajout d'un personnage MetaHuman personnalisé au projet de démonstration
- Vidéo tutoriel de configuration
- Clignement des yeux MetaHuman et suivi de caméra
- Combinaison avec les animations faciales et corporelles
Support
- Support de plugins et développement personnalisé : [email protected] (solutions sur mesure pour les équipes et les organisations)
Aperçu
Runtime MetaHuman Lip Sync Documentation
Guide d'installation
Ce guide vous accompagne dans le processus de configuration de base de Runtime MetaHuman Lip Sync avec vos personnages MetaHuman.
Guide de traitement audio
Apprenez à configurer différentes méthodes d'entrée audio pour le lip sync, y compris le microphone, la TTS et les sources audio en streaming.
Configuration du plugin
Apprenez à configurer les modèles de lip sync, les animation blueprints, les paramètres d'humeur, les options de performance et à résoudre les problèmes courants de lip sync.
Aides d’animation des yeux
Utilitaires auxiliaires optionnels pour piloter l’orientation du regard des yeux de MetaHuman (gaze) et les clignements automatiques des yeux en parallèle de la synchronisation labiale.
Comment utiliser le plugin avec des personnages personnalisés
Ce guide vous explique comment configurer Runtime MetaHuman Lip Sync pour des personnages non-MetaHuman. Ce processus requiert une bonne connaissance des concepts d’animation et du rigging. Si vous avez besoin d’aide pour l’implémenter sur votre personnage spécifique, vous pouvez contacter le support professionnel à l’adresse [email protected].
Configuration spécifique à la plateforme
Ce guide couvre les exigences de configuration et les paramètres spécifiques à la plateforme pour le plugin Runtime MetaHuman Lip Sync.
Projets de démonstration
Projets de démonstration prêts à l'emploi présentant Runtime MetaHuman Lip Sync, incluant un flux de travail complet d'avatar conversationnel IA avec reconnaissance vocale, intégration LLM, TTS et synchronisation labiale.