Runtime MetaHuman Lip Sync
Documentation pour le plugin Runtime MetaHuman Lip Sync.
Téléchargements et Liens
Projets de démonstration :
Deux projets de démonstration prêts à l'emploi sont disponibles - consultez la page dédiée Projets de démonstration pour tous les détails, téléchargements et procédures pas à pas :
- Flux de travail complet pour PNJ conversationnel IA - reconnaissance vocale + chatbot LLM + TTS + synchronisation labiale
- Démonstration de base de synchronisation labiale - entrée microphone, fichiers audio, TTS
Les deux démos sont multiplateformes (Windows, Mac, Linux, iOS, Android, Meta Quest) et sont livrées sous forme de builds packagés et de projets source complets UE 5.6+.
Tutoriels vidéo
Démos en vedette
Tutoriels pour modèle réaliste (haute qualité)
- Synchronisation labiale de haute qualité à partir d'un fichier/ buffer audio
- Synchronisation labiale de haute qualité avec contrôle de l'humeur et TTS local
- Synchronisation labiale de haute qualité avec ElevenLabs et OpenAI TTS
- Synchronisation labiale de haute qualité en direct depuis un microphone
- Synchronisation labiale de haute qualité pour les personnages ARKit
Tutoriels pour modèles standard
- Synchronisation labiale standard avec micro en direct
- Synchronisation labiale standard avec synthèse vocale locale
- Synchronisation labiale standard avec ElevenLabs et OpenAI TTS
Configuration générale
- Ajout d'un personnage MetaHuman personnalisé au projet de démonstration
- Vidéo tutoriel de configuration
- MetaHuman Eye Blinking & Camera Tracking
- Présentation du projet de démonstration (ancienne version)
Assistance
- Support de plugin et développement personnalisé : [email protected] (solutions sur mesure pour les équipes et les organisations)
Aperçu
Runtime MetaHuman Lip Sync Documentation
Guide d'installation
Ce guide vous accompagne dans le processus de configuration de base de Runtime MetaHuman Lip Sync avec vos personnages MetaHuman.
Guide de traitement audio
Apprenez à configurer différentes méthodes d'entrée audio pour le lip sync, y compris le microphone, la TTS et les sources audio en streaming.
Configuration du plugin
Apprenez à configurer les modèles de synchronisation labiale, les blueprints d'animation, les paramètres d'humeur, les options de performance et à résoudre les problèmes courants de synchronisation labiale.
Aides d'animation des yeux
Utilitaires facultatifs pour piloter le regard des MetaHuman (direction des yeux) et les clignements automatiques des yeux en parallèle de la synchronisation labiale.
Comment utiliser le plugin avec des personnages personnalisés
Ce guide vous accompagne tout au long du processus de configuration de Runtime MetaHuman Lip Sync pour des personnages non-MetaHuman. Ce processus nécessite une familiarité avec les concepts d'animation et le rigging. Si vous avez besoin d'aide pour implémenter cela sur votre personnage spécifique, vous pouvez contacter le support professionnel à [email protected].
Configuration spécifique à la plateforme
Ce guide couvre les exigences de configuration et les paramètres spécifiques à la plateforme pour le plugin Runtime MetaHuman Lip Sync.
Projets de démonstration
Projets de démonstration prêts à l'emploi présentant Runtime MetaHuman Lip Sync, incluant un workflow complet d'avatar conversationnel IA avec reconnaissance vocale, intégration LLM, TTS et synchronisation labiale.