Aller au contenu principal

Comment utiliser le plugin

Ce guide vous explique comment configurer Runtime MetaHuman Lip Sync pour vos personnages MetaHuman.

Remarque : Runtime MetaHuman Lip Sync fonctionne à la fois avec les MetaHuman et les personnages personnalisés. Le plugin prend en charge divers types de personnages, notamment :

  • Les personnages commerciaux populaires (Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, etc.)
  • Les personnages avec des blendshapes basés sur FACS
  • Les modèles utilisant les standards de blendshape ARKit
  • Les personnages avec des ensembles de phonèmes Preston Blair
  • Les systèmes de phonèmes 3ds Max
  • Tout personnage avec des morph targets personnalisés pour les expressions faciales

Pour des instructions détaillées sur la configuration des personnages personnalisés, y compris les références de mappage des visèmes pour tous les standards ci-dessus, consultez le Guide de configuration des personnages personnalisés.

Prérequis​

Avant de commencer, assurez-vous que :

  1. Le plugin MetaHuman est activé dans votre projet
  2. Vous avez au moins un personnage MetaHuman téléchargé et disponible dans votre projet
  3. Le plugin Runtime MetaHuman Lip Sync est installé

Plugins supplémentaires :

  • Si vous prévoyez d'utiliser la capture audio (par exemple, l'entrée microphone), installez le plugin Runtime Audio Importer.
  • Si vous prévoyez d'utiliser la fonctionnalité text-to-speech, installez le plugin Runtime Text To Speech.

Configuration spécifique à la plateforme​

Configuration Android / Meta Quest​

Si vous ciblez les plateformes Android ou Meta Quest et rencontrez des erreurs de compilation avec ce plugin, vous devrez désactiver l'architecture Android x86_64 (x64) dans les paramètres de votre projet :

  1. Allez dans Edit > Project Settings
  2. Naviguez vers Platforms > Android
  3. Sous Platforms - Android, section Build, trouvez Support x86_64 [aka x64] et assurez-vous qu'il est désactivé, comme illustré ci-dessous

Désactiver l'architecture Android x64

En effet, le plugin ne prend actuellement en charge que les architectures arm64-v8a et armeabi-v7a pour les plateformes Android / Meta Quest.

Processus de configuration​

Étape 1 : Localiser et modifier le Blueprint d'animation faciale​

Vous devez modifier un Animation Blueprint qui sera utilisé pour les animations faciales de votre personnage MetaHuman. Le Animation Blueprint facial par défaut de MetaHuman se trouve à l'emplacement suivant :

Content/MetaHumans/Common/Face/Face_AnimBP

Face Animation Blueprint

Vous avez plusieurs options pour implémenter la fonctionnalité de lip sync :

Ouvrez directement le Face_AnimBP par défaut et effectuez vos modifications. Tous les changements affecteront tous les personnages MetaHuman utilisant ce Animation Blueprint.

Note : Cette approche est pratique mais impactera tous les personnages utilisant le Animation Blueprint par défaut.

Important : Le blending Runtime MetaHuman Lip Sync peut être implémenté dans n'importe quel asset Animation Blueprint ayant accès à une pose contenant les os faciaux présents dans le Face_Archetype_Skeleton par défaut des MetaHumans. Vous n'êtes pas limité aux options ci-dessus - ce ne sont que des approches d'implémentation courantes.

Étape 2 : Configuration du Event Graph​

Ouvrez votre Face Animation Blueprint et passez au Event Graph. Vous devrez créer un Runtime Viseme Generator qui traitera les données audio et générera des visèmes.

  1. Ajoutez le nœud Event Blueprint Begin Play s'il n'existe pas déjà
  2. Ajoutez le nœud Create Runtime Viseme Generator et connectez-le à l'événement Begin Play
  3. Sauvegardez la sortie dans une variable (par exemple "VisemeGenerator") pour utilisation dans d'autres parties du graphe

Creating Runtime Viseme Generator

Étape 3 : Configuration du traitement de l'entrée audio​

Vous devez configurer une méthode pour traiter l'entrée audio. Il existe plusieurs façons de le faire selon votre source audio.

Cette approche effectue le lip sync en temps réel pendant la prise de parole via le microphone :

  1. Créez un Capturable Sound Wave en utilisant Runtime Audio Importer
  2. Avant de commencer la capture audio, liez-vous au délégué OnPopulateAudioData
  3. Dans la fonction liée, appelez ProcessAudioData depuis votre Runtime Viseme Generator
  4. Commencez la capture audio depuis le microphone

Noeuds copiables.

Lip Sync During Audio Capture

Étape 4 : Configuration de l'Anim Graph​

Après avoir configuré le Event Graph, passez à l'Anim Graph pour connecter le viseme generator à l'animation du personnage :

Lip Sync​

  1. Localisez la pose contenant le visage MetaHuman (typiquement depuis Use cached pose 'Body Pose')
  2. Ajoutez le nœud Blend Runtime MetaHuman Lip Sync
  3. Connectez la pose au Source Pose du nœud Blend Runtime MetaHuman Lip Sync
  4. Connectez votre variable RuntimeVisemeGenerator à la broche Viseme Generator
  5. Connectez la sortie du nœud Blend Runtime MetaHuman Lip Sync à la broche Result de l'Output Pose

Blend Runtime MetaHuman Lip Sync

Lorsque le lip sync est détecté dans l'audio, votre personnage s'animera dynamiquement en conséquence :

Lip Sync

Animation de rire​

Vous pouvez également ajouter des animations de rire qui répondront dynamiquement aux rires détectés dans l'audio :

  1. Ajoutez le nœud Blend Runtime MetaHuman Laughter
  2. Connectez votre variable RuntimeVisemeGenerator à la broche Viseme Generator
  3. Si vous utilisez déjà le lip sync :
    • Connectez la sortie du nœud Blend Runtime MetaHuman Lip Sync au Source Pose du nœud Blend Runtime MetaHuman Laughter
    • Connectez la sortie du nœud Blend Runtime MetaHuman Laughter à la broche Result de l'Output Pose
  4. Si vous utilisez uniquement le rire sans lip sync :
    • Connectez votre source pose directement au `Source Pose